Google Labs, 능동적 AI 코딩 에이전트를 측정하는 방법을 연구하다

Google Labs가 Jules와 같은 선제적 AI 코딩 에이전트를 평가하는 방법에 대한 새로운 연구를 발표했습니다. 이번 연구는 초점을 고정된 작업을 완료하는 데서 개발자가 더 넓은 목표에 도달하도록 돕는 데로 옮깁니다. 이 논문은 SWEBench와 같은 현재의 벤치마크가 작업 완료를 테스트하는 데는 적합하지만, 에이전트가 스스로 유용한 진단 인사이트를 드러낼 수 있는지는 측정하지 못한다고 주장합니다. 연구진은 에이전트를 “인사이트 정책”에 따라 평가할 것을 제안하며, 여기에는 에이전트가 알림을 보내는지, 질문을 하는지, 제안을 초안으로 작성하는지, 아니면 조용히 있는지가 포함됩니다. 이 아이디어를 시험하기 위해 팀은 Google 내부 코드베이스에서 705개의 버그와 1,178개의 코드 변경을 분석해, 시기와 유사성을 바탕으로 관련 수정 사항을 더 높은 수준의 목표로 묶었습니다. 초기 결과에서 이 시스템은 단순한 문제에서는 좋은 성능을 보였고, 코드베이스를 더 탐색할 기회가 주어졌을 때는 더 복잡한 문제에서도 개선되었습니다. Google은 이 평가를 공개 GitHub 데이터로 확대하고, 이슈 트래커와 설계 문서와 같은 더 풍부한 맥락을 포함할 계획이라고 밝혔습니다.