기업이 인력을 줄이지 않고 AI 토큰 비용을 절감하는 방법

엔비디아 최고경영자 젠슨 황은 엔지니어링 팀을 평가할 때 그들이 생성하는 AI 토큰 사용량을 일부 기준으로 삼아야 한다고 말했으며, 규모 있게 AI를 사용하는 기업들에게 이제 토큰 지출은 의미 있는 운영 비용이라고 주장했다. 기사에 따르면 대형 기술 기업들은 AI 인프라에 막대한 돈을 쓰는 동시에, AI 관련 비용 절감을 투자 재원으로 활용하고 있다. 이 글은 인원 감축이 더 나은 수익으로 이어진다고 신뢰성 있게 볼 수는 없다고 주장한다. 또한 AI나 자동화를 도입한 뒤 인력을 줄인 많은 기업들이 성과에서 뚜렷한 개선을 보지 못했다는 가트너의 연구를 인용한다. 아울러 우버처럼 AI 코딩 도구를 대규모로 사용해 회사의 AI 예산을 빠르게 소진한 사례와, 메타처럼 해고를 더 넓은 비용 재배분의 일부로 제시한 사례도 언급한다. 기사에서는 해고에 초점을 맞추기보다 프롬프트 캐싱, 모델 라우팅, 배치 처리, 검색 증강 생성, 프롬프트 압축, 오픈 웨이트 모델의 선택적 사용과 같은 엔지니어링 변화를 통해 토큰 비용을 낮출 수 있다고 말한다. 또한 고객 서비스 품질이 저하된 뒤 클라르나가 다시 혼합형 모델로 전환한 사례를 들며, 일부 기업은 직원을 대체하기보다 지원하는 데 AI를 활용하고 있다고 지적한다. 이 글은 기업이 AI 지출을 충당하기 위해 일자리를 줄이는 것보다 AI 사용을 최적화하고 인력의 경험을 보존하는 데서 더 큰 이익을 얻을 수 있다고 결론짓는다.