Kimi K3는 중국의 메모리 우선 AI 접근 방식을 부각시킨다

Moonshot AI가 2조 8천억 개의 매개변수를 가진 오픈 웨이트 모델 Kimi K3를 공개했으며, 이는 현재까지 동종 모델 중 가장 큰 규모입니다. 이 모델은 7월 16일에 출시되었으며 중국의 AI 발전에서 중요한 단계로 자리매김하고 있습니다. 기사에 따르면 K3는 단순히 규모가 큰 것뿐만 아니라, 연산 수요를 줄이고 그 부담을 메모리로 더 많이 옮기도록 설계됐다는 점에서 주목할 만합니다. 이 모델은 혼합 전문가 아키텍처, 4비트 양자화 인지 학습, 장문 맥락 어텐션 시스템을 사용해 대규모 서비스 제공을 더 실용적으로 만듭니다. Moonshot은 이러한 선택이 특히 첨단 칩에 대한 미국의 수출 통제로 형성된 시장에서 하드웨어 호환성을 높이고 운영 비용을 낮추기 위한 것이라고 말합니다. 또한 회사는 K3를 64개 이상의 가속기에서 실행할 것을 권장하고 있는데, 이는 배포에 상당한 데이터센터 인프라가 필요할 가능성이 있음을 시사합니다. 기사에서는 일부 벤치마크 결과가 자체 주장에 기반한 것이며, 모델의 전체 가중치는 7월 27일이 되어야 공개된다고 언급합니다. 또한 기업 도입은 조직이 이러한 대규모 모델을 안정적으로 실행하는 데 필요한 하드웨어와 소프트웨어 지원을 확보할 수 있는지에 달려 있다고 덧붙입니다.