LLM이 실제로 추론하지 않는 이유

전 DeepMind 연구원은 대규모 언어 모델을 진정으로 추론하는 시스템으로 오해해서는 안 된다고 주장한다. 그의 관점에서 ChatGPT와 같은 모델은 패턴 완성에는 강하지만 유용한 단계별 결과를 생성할 수는 있어도, 그것이 명시적이고 감사 가능한 추론 과정을 유지하는 것과 같은 의미는 아니다. 이 글은 LLM을 직관과 미래의 가능성을 평가하는 별도의 탐색 과정을 결합한 AlphaGo와 대조한다. 저자는 이에 비해 chainofthought 프롬프트는 여전히 다음 토큰 예측에 의존하며 별도의 추론 메커니즘을 만들어내지 않는다고 말한다. 그는 또한 이러한 시스템이 종종 신념의 지속적인 기록을 갖추지 못하고, 지식과 그 지식에 대한 조작을 명확히 구분하지 못하며, 실제로 어떤 경로를 거쳤는지 보여주기보다 답에 도달한 뒤 설명을 만들어낼 수 있다고 주장한다. 이 글은 이러한 한계가 의학, 공학, 과학 연구처럼 결과의 영향이 큰 분야에서 가장 중요하다고 말한다. 그곳에서는 사용자가 시스템이 무엇을 결론 내렸는지만이 아니라 어떻게 그 결론에 도달했는지도 알아야 하기 때문이다. 저자는 검토 가능한 인식론적 상태를 유지하고 증거가 이를 뒷받침할 때에만 신념을 업데이트하는 새로운 AI 설계를 촉구한다.