Google Cloud API Gateway가 공개 프리뷰에서 모델 라우팅을 추가합니다

Google Cloud는 API Gateway에 대한 공개 미리보기에서 모델 라우팅을 도입하여, 개발자가 엔드포인트를 하드코딩하거나 별도의 프록시를 실행하지 않고도 AI 요청을 다양한 모델로 보낼 수 있는 방법을 제공합니다. 이번 업데이트를 통해 게이트웨이는 OpenAI 호환 요청을 수락하고 Gemini, Claude, 또는 OpenAI OSSGPT와 같은 백엔드로 동적으로 라우팅할 수 있습니다. Google은 이 기능이 속도 제한 및 토큰 추적 같은 작업에 단독으로 사용될 수 있으며, 보다 제어된 트래픽 처리를 위해 Gemini Enterprise Agent Platform과 함께 사용할 수도 있다고 밝혔습니다. 설정하려면 개발자는 OpenAPI 3.x 사양에서 라우팅 규칙을 정의하고, 업데이트된 게이트웨이 구성을 배포한 다음, 표준 요청을 게이트웨이 엔드포인트로 전송하면 됩니다. 게이트웨이는 요청을 백엔드의 네이티브 형식으로 트랜스코딩하고 구성된 모델 라우터를 기반으로 전달합니다. Google은 단일 라우터 내의 모든 백엔드가 동일한 호스트를 공유해야 하며, 이 기능은 현재 공개 미리보기로 제공된다고 밝혔습니다.