Google이 고처리량 agentic RL 훈련을 위한 Tunix를 자세히 소개하다

Google은 개발자들이 에이전틱 LLM을 대규모로 더 효율적으로 학습할 수 있도록 사후 학습 라이브러리인 Tunix에 대한 업데이트를 도입했습니다. 이번 발표는 도구, 외부 API, 환경 상호작용에 의존하는 다단계 추론 워크플로에서 유휴 가속기 시간을 줄이도록 이 시스템이 어떻게 설계되었는지 설명합니다. 블로그 게시물에 따르면 Tunix는 비동기 롤아웃과 분리된 생산자소비자 파이프라인을 사용해 에이전트가 네트워크 요청이나 코드 실행처럼 느린 호스트 측 작업을 기다리는 동안 TPU를 계속 바쁘게 유지합니다. 또한 가벼운 RL 전용 관찰 기능을 추가해 팀이 무거운 프로파일러 추적에만 의존하지 않고도 롤아웃, 학습, 환경 지연 시간을 모니터링할 수 있게 합니다. Google은 Tunix의 구성 가능한 에이전트 및 환경 추상화를 강조하며, 이는 사용자 정의 에이전트, 도구, 그리고 SWEbench나 Gymnasium 스타일 작업 같은 오픈소스 환경을 더 쉽게 연결할 수 있도록 하기 위한 것입니다. 이 게시물은 Tunix를 다회전 에이전트 학습을 위한 JAX 및 TPU 네이티브 옵션으로 소개하며, 시도해 보려는 개발자를 위한 코드 예제, 문서, 저장소 링크도 포함하고 있습니다.