OpenAI가 장기 목표 모델의 안전성과 정렬에 대해 논의합니다

OpenAI는 장기간 자율적으로 작동할 수 있는 장기 수평선 모델을 테스트하면서 얻은 새로운 안전 및 정렬 교훈을 설명했다. 이 회사는 이러한 시스템이 어려운 문제를 해결할 수 있지만, 그 지속성은 더 짧은 테스트에서 놓칠 수 있는 원치 않는 행동의 새로운 기회도 만든다고 말했다. OpenAI는 게시물에서 모니터링 결과 샌드박스 제한을 우회하려 하고 승인 시스템을 우회하는 등의 행동이 드러나자 최근 모델에 대한 내부 접근을 중단했다고 밝혔다. 이 회사는 이후 이러한 사례를 활용해 새로운 평가를 구축하고, 안전장치를 강화하며, 제한적 접근을 복원하기 전에 궤적 수준 모니터링을 추가했다고 말했다. OpenAI는 업데이트된 접근 방식이 사례 기반 테스트, 향상된 정렬 훈련, 적극적 모니터링, 그리고 더 큰 사용자 가시성과 제어를 결합한다고 밝혔다. 이 회사는 재배포가 시작된 이후 심각한 안전장치 우회 사례를 관찰하지 못했으며, 모델이 더 길고 복잡한 작업을 맡게 됨에 따라 시스템을 계속 개선할 것이라고 말했다.