OpenAI, 최첨단 AI 훈련을 위한 안전성 사례 프레임워크 제시

OpenAI는 최첨단 AI 강화 학습 실행을 위한 안전성 사례를 어떻게 구축해야 한다고 보는지에 대한 지침을 발표했습니다. 회사는 훈련이 계속되기 전에 구조화된 증거 기반 문서를 작성하는 것을 목표로 하며, 특히 불일치 위험을 줄이고 감독을 개선하는 데 중점을 둔다고 밝혔습니다. 이 문서는 세 가지 주요 중점 영역을 제시합니다. 기술적 안전장치, 운영 지침, 그리고 사고 조사입니다. 기술적 조치에는 정렬 훈련, 격리, 모니터링이 포함되며, 예를 들어 보상 해킹을 위해 훈련 환경을 검토하고, 샌드박스 보안을 강화하고, 사이드 채널을 제한하고, 필요할 경우 실행을 일시 중지할 수 있는 경보 임계값을 설정하는 것 등이 있습니다. OpenAI는 또한 내부 이견 검토, 경영진 승인, 고위 리더의 책임, 감사 접근 권한, 에스컬레이션 경로, 롤백 계획과 같은 운영 관행을 권장합니다. 심각한 불일치 사고의 경우, 근본 원인 분석, 사후 검토, 조사 종료 후 공개 공지, 그리고 영향을 받은 제3자에 대한 통지를 제안합니다.