AI 자기 개선은 Anthropic과 OpenAI에서 안전 우려를 높인다

Anthropic과 OpenAI의 연구자들은 재귀적 자기 개선에 대해 새로운 우려를 제기하고 있는데, 이는 AI 시스템이 더 뛰어난 모델을 만드는 속도를 높이는 데 도움을 주는 과정입니다. 이 기사에 따르면 두 회사는 최근 자율적인 모델 개선이 예상보다 빠르게 진행되고 있다고 인정했습니다. 핵심 우려는 AI가 새로운 시스템을 구축하는 데 더 큰 역할을 하기 시작하면 인간이 점점 더 고도화되는 모델에 대한 통제력을 잃을 수 있다는 점입니다. Anthropic의 정렬 책임자 Evan Hubinger는 이 과정을 통해 초지능이 등장할 위험을 우려한다고 말했으며, OpenAI와 Anthropic 연구자들은 이 문제를 해결하기 위한 명확한 과학적 계획이 아직 없다고 경고했습니다. 이번 논의는 실리콘밸리에서 AI 안전을 둘러싼 더 넓은 논쟁 속에서 나온 것으로, 일부 연구자들은 발전 속도가 대비를 앞질렀다고 주장하고 있습니다. 또한 이 기사는 AI가 완전한 재귀적 자기 개선에는 아직 도달하지 않았지만, 이미 선도적인 연구소 내부에서 코딩과 모델 개발을 가속하는 데 도움을 주고 있다고 지적합니다.