OpenAI가 저지연 음성 AI를 확장하는 방법

OpenAI는 대규모 저지연 음성 상호작용을 지원하기 위해 WebRTC 인프라의 일부를 어떻게 재구축했는지 설명합니다. 이 시스템은 ChatGPT 음성, Realtime API, 그리고 빠른 턴테이킹과 안정적인 오디오 품질이 중요한 기타 실시간 AI 워크플로에 사용됩니다. 회사는 표준 WebRTC가 브라우저와 모바일 클라이언트를 안정적으로 연결하는 데 도움이 되지만, 이전 설정은 Kubernetes와 높은 동시성 트래픽에 잘 맞지 않았다고 말했습니다. 이를 해결하기 위해 OpenAI는 분리된 릴레이 + 트랜시버 아키텍처로 전환했으며, 여기서 경량 릴레이가 패킷을 전달하고 트랜시버 서비스가 전체 WebRTC 세션 상태를 관리합니다. 게시물에 따르면, 이 접근 방식은 공개 UDP 노출 범위를 줄이고, 확장성을 단순화하며, 전 세계의 가까운 인프라로 트래픽을 라우팅하는 데 도움이 됩니다. OpenAI는 이 설계가 첫 패킷 라우팅을 개선하고 지연 시간, 지터, 패킷 손실을 충분히 낮게 유지해 음성 대화가 더 자연스럽게 느껴지도록 한다고 말했습니다.