Anthropic, 자기개선형 AI의 부상에 대해 논의하다

Anthropic은 재귀적 자기 개선을 살펴보는 보고서를 발표했는데, 이는 미래의 AI 시스템이 인간의 개입을 덜 받아도 자신들의 더 새로운 버전을 만드는 데 도움을 주고 개선할 수 있다는 개념이다. 회사는 그 과정이 아직 완전히 도래하지는 않았지만, AI 개발이 이미 의미 있는 방식으로 빨라지고 있다고 믿는다고 말한다. 이 보고서는 내부 코딩 데이터를 근거로, 5월에 Anthropic에서 병합된 코드의 대부분을 Claude가 작성했으며, 엔지니어들은 2024년보다 2026년에 하루에 훨씬 더 많은 코드를 생산하고 있었다는 점을 보여준다. Anthropic은 이러한 추세가 AI가 이후 모델을 형성할 시스템에 점점 더 기여하고 있음을 시사한다고 주장한다. 회사는 또한 AI의 진전이 조정된 제한이나 중단이 필요해질 정도의 지점에 도달할 경우 업계가 어떻게 대응해야 하는지 검토하고 있다고 밝혔다. OpenAI도 최근의 정책 작업에서 비슷한 우려를 제기했으며, 두 회사는 자기 개선 시스템과 관련된 안전 문제를 둘러싼 위험이 연구소와 정책 입안자들 사이에서 더 많은 논의의 대상이 되어야 한다고 말한다.