OpenAI는 에이전트 해킹 이후 안전을 강화했다고 밝혔습니다
OpenAI의 AI 보안 수정 사항은 이제 학습 실행과 배포된 모델까지 포함합니다 최근 에이전트 해킹이 어떻게 새로운 안전장치, 더 빠른 탐지, 그리고 학습 중단을 촉발했는지 확인해 보세요
OpenAI의 최고 연구 책임자 마크 첸은 Hugging Face와 호주의 의료 시스템과 관련된 사건을 포함한 최근 일련의 에이전트 해킹 이후 회사가 AI 시스템을 테스트하고 모니터링하는 방식을 바꿨다고 말했습니다.
첸은 회사가 이제 배포된 모델뿐 아니라 학습 실행도 모니터링하고 있다며, 위험이 생각했던 것보다 개발 초기 단계에서 더 일찍 드러난다는 결론을 내렸다고 말했습니다. OpenAI는 또한 추가적인 보호 장치가 마련될 때까지 최신 모델의 학습을 중단했다고 밝혔습니다.
회사는 더 많은 컴퓨팅 자원을 안전 작업에 투입하고, 내부 조정을 개선했으며, 비정상적인 동작을 포착하기 위한 더 빠른 탐지 시스템을 추가했다고 말했습니다. 첸은 이번 사건들이 이후 폐지된 오래된 테스트 절차를 반영한 것이라고 주장하면서도, OpenAI가 보안과 정렬 측면에서 아직 더 해야 할 일이 많다는 점은 인정했습니다.