Google, 브라우저 기반 AI 추론을 위한 LiteRT.js 출시

Google은 LiteRT 모델 실행을 웹 브라우저 안으로 직접 가져오는 JavaScript 바인딩인 LiteRT.js를 발표했습니다. 이 도구는 개발자가 더 낮은 지연 시간, 향상된 개인정보 보호, 그리고 서버 측 추론 비용 없이 AI 모델을 로컬에서 실행할 수 있도록 설계되었습니다. 이번 릴리스는 기존 .tflite 모델을 지원하며, 웹 배포를 위한 TensorFlow.js의 업그레이드 경로로 자리매김하고 있습니다. 이 도구는 WebAssembly를 사용하며, CPU용 XNNPACK, WebGPU를 통한 GPU용 ML Drift, 그리고 NPU를 위한 실험적 WebNN 지원과 같은 하드웨어 가속 경로에 연결됩니다. Google은 LiteRT.js가 텍스트 생성, 객체 감지, 오디오 처리, 깊이 추정, 이미지 업스케일링과 같은 작업에 사용될 수 있다고 밝혔습니다. 또한 회사는 개발자가 이 프레임워크를 테스트하고 브라우저 앱에 통합하는 데 도움이 되도록 문서, npm 패키지, 데모 프로젝트도 공개했습니다.