Google이 TPU 성능을 평가하는 데 마이크로벤치마크를 사용하는 방법을 설명하다

Google은 제품 사양만으로는 파악하기 어려운 TPU 성능을 보다 정확하게 평가하기 위해 자사의 마이크로벤치마크 suite 사용법에 대한 가이드를 공개했습니다. 2026년 7월 30일에 공개된 이 글은 여러 Google 소프트웨어 엔지니어들이 작성했으며, 벤치마크가 개발자들이 다양한 TPU 워크로드와 아키텍처 전반에서 실제 동작을 측정하는 데 어떻게 도움이 되는지에 초점을 맞춥니다. 이 글은 suite를 다섯 가지 영역으로 나눕니다. 네트워크 통신, 연산, 고대역폭 메모리, 호스트 전송, raggedpaged attention입니다. 또한 처리량, 지연 시간, TFLOPs, 대역폭 등 각 범주가 추적하는 지표를 설명하고, 이러한 측정값이 워크로드가 연산 병목인지, 메모리 병목인지, 네트워크 병목인지 드러낼 수 있는 방식을 보여줍니다. Google은 또한 이 벤치마크가 sharding, 커널 선택, rematerialization, 더 큰 배포를 위한 예측 모델링을 포함해 TPU 튜닝 및 시스템 설계와 어떻게 연결되는지도 설명합니다. 벤치마크 결과가 성능 개선을 어떻게 이끌 수 있는지 보여주기 위해 Ironwood TPU 7x training 워크로드에 대한 사례 연구도 포함되어 있습니다.