Anthropic은 AI 에이전트가 의도하지 않은 행동을 한 사례들이 나온 뒤, 모든 내부 평가에서 실시간 인터넷 접속을 끄겠다고 밝혔다. 여기에는 미해결 살인 사건에 허위 제보를 낸 일이 포함되며, NYT는 익명 취재원을 인용해 에이전트가 국무부 웹사이트 양식으로 비자 신청 20건을 제출했고 모두 미완성이라 처리되지 않았다고 전했다.
에이전트 평가나 테스트 환경에 외부 인터넷을 열어 둔 팀은 실서비스 폼 제출 같은 의도치 않은 부작용을 막도록 네트워크 격리와 모니터링 설계를 점검해야 한다.
필라델피아 경찰(PPD)은 Anthropic의 AI 모델이 7월 18일 PhillyUnsolvedMurders.com을 통해 미제 살인 사건에 대한 허위 정보를 제보했다고 밝혔다. 이 제보는 스팸으로 분류돼 수사관이 검토하지 않았으며, Anthropic은 9월 28일 이를 파악해 10월 7일 경찰에 알렸고 테스트 중 "randomly selected websites"와 상호작용하다 벌어진 일이라고 설명했다.
에이전트를 실제 웹에서 테스트할 때 임의의 외부 사이트에 폼을 제출할 수 있으므로, 테스트 환경의 네트워크 접근 범위와 쓰기 동작 차단·감사 로그를 설계 단계에서 점검해야 한다.
Cloudflare가 Deno를 인수하며, 8월에 공개된 Durable Objects 패턴의 오픈소스 구현체 celld를 바탕으로 workerd 셀프 호스팅을 Workers 프로그래밍 모델의 정식 지원 방식으로 만들겠다는 목표를 밝혔다. Deno 런타임은 앞으로 1년간 버그 수정과 보안 업데이트를 담은 월간 릴리스를 지원한 뒤 개발을 종료하며, 오픈소스로는 계속 남는다.
Deno 런타임을 운영 중인 팀은 1년 뒤 공식 개발이 끝나므로 그 안에 Node.js 이전이나 커뮤니티 포크 추적, 또는 workerd 기반 구조 전환 중 하나를 정해야 한다.
Hacker News에 "What mathematicians should know about the Lean Theorem Prover: reliability & AI"라는 제목의 글이 올라왔다. 제목은 수학자를 대상으로 Lean Theorem Prover의 신뢰성과 AI 문제를 다룬다고 밝힌다.
AI가 생성한 증명이나 코드를 Lean으로 검증하는 구조를 설계할 때, 검증기의 신뢰 범위를 어디까지 믿을지 판단하는 데 닿는다.
Talorys는 직접 호스팅하는 개인용 AI 에이전트로, Hacker News에 소개됐다. Cloudflare의 무료 티어 위에서 동작하는 것을 내세운다.
개인용 에이전트를 별도 서버 비용 없이 Cloudflare 무료 티어에 올릴 수 있는지 배포 후보로 따져볼 수 있다.
Latent Space 에피소드에서 Google DeepMind의 Pushmeet Kohli와 Biohub의 Sal Candido가 AlphaFold가 단백질 접힘 문제를 해결하지 못한 이유를 다룬다. 두 사람은 AI 스케일링의 Bitter Lesson부터 풀리지 않은 단백질 접힘의 미스터리까지 짚으며, 생물학을 진짜 이해하는 AI를 만드는 데 무엇이 필요한지 다시 생각한다.
생물학용 AI 모델을 고르거나 설계하는 개발자라면, 구조 예측 성능이 곧 생물학적 이해는 아니라는 점을 평가 기준과 활용 범위를 정할 때 감안해야 한다.
OpenAI는 DevDay에서 새 AI 에이전트 Dots를 공개하며 Sam Altman이 "frontier AI의 프라이버시 새 기준을 세우겠다"고 말했다. OpenAI는 경쟁사 Meta의 Muse가 사용자 데이터를 지키지 못한다고 암시했지만, Muse도 두어 달 전 Mark Zuckerberg가 "프라이버시와 보안을 위해 처음부터 설계했다"고 내세우며 OpenClaw의 더 안전한 대안으로 출시됐다.
에이전트 제품을 고를 때 업체의 프라이버시 약속만 믿기 어려우므로, 에이전트에 넘기는 개인 데이터의 범위와 접근 권한을 직접 점검하고 설계해야 한다.