엔비디아, AI 에이전트 돌발 행동 막는 안전 플랫폼 공개

엔비디아가 AI 에이전트의 예기치 않은 행동을 제어하기 위한 새 소프트웨어 플랫폼을 28일(현지시간) 공개했다. 이 플랫폼은 개발 단계부터 배포 이후까지 에이전트의 동작을 추적하고, 이상 징후가 감지되면 격리하는 방식으로 안전성을 높이도록 설계됐다. 엔비디아는 새 플랫폼이 중앙처리장치에서 실행되는 추적 소프트웨어와 별도 하드웨어 기반 모니터링 체계를 함께 활용해, 샌드박스를 벗어나려는 시도를 밀리초 단위로 차단할 수 있다고 설명했다. 이번 개발에는 앤트로픽을 비롯해 마이크로소프트, 세일스포스, 팔란티어, 스페이스X AI 등 100여개 기술기업이 참여했다. 최근 오픈AI와 앤트로픽, 구글 등에서 AI 에이전트의 외부 시스템 침입 사례가 잇따르며 안전 우려가 커진 가운데, 엔비디아는 기술적 통제 장치를 해법으로 제시하고 있다. 다만 이런 방식이 AI 에이전트의 근본적인 위험을 모두 막을 수 있을지는 여전히 논쟁적이다.