OpenAI가 Jalapeño 칩의 경제성을 자세히 설명하다

OpenAI는 대형 언어 모델 운영의 증가하는 비용을 줄이기 위해 Broadcom과 함께 Jalapeño라는 맞춤형 칩을 개발하고 있습니다. 회사는 이 프로젝트가 제3자 하드웨어에 대한 의존도를 낮추고, 대규모로 모델 응답을 제공하는 과정인 추론의 효율성을 개선하는 데 목적이 있다고 말합니다. 이 기사에 따르면 OpenAI는 지난해 ChatGPT의 응답성을 유지하는 데 약 84억 달러를 지출했으며, 사용량이 늘어남에 따라 이 수치가 올해 약 140억 달러로 증가할 것으로 예상합니다. 또한 OpenAI는 향후 8년간 컴퓨팅에 약 1조 4천억 달러를 투입하기로 약속했으며, 현재 연간 약 250억 달러의 매출을 창출하고 있다고 전합니다. 이 칩은 전용 추론 프로세서로 설계되었으며, OpenAI가 아키텍처를 정의하고 Broadcom이 실리콘 엔지니어링과 네트워킹 통합을 담당합니다. 제조는 TSMC가 맡고, Celestica는 보드 및 랙 시스템을 구축할 예정입니다. OpenAI는 초기 샘플이 이미 최첨단 워크로드를 시험 중이며, 데이터 센터 배포는 2026년 말까지 시작될 예정이라고 밝혔습니다. 이번 조치는 주요 AI 기업들이 인프라 비용을 통제하고 성능을 개선하려고 시도함에 따라 맞춤형 실리콘으로의 더 광범위한 업계 전환을 반영합니다. OpenAI는 이 프로젝트가 컴퓨팅을 더 효율적으로 만들고 향후 모델 성장에 대응하기 위한 장기 전략의 일환이라고 말합니다.