OpenAI가 ChatGPT 성장에 맞춰 Habitat 스토리지를 확장한 방법을 상세히 설명하다

OpenAI는 ChatGPT와 다른 제품들의 빠른 성장을 지원하기 위해 내부 저장소 플랫폼인 Habitat를 재구축했다고 밝혔습니다. 회사는 현재 Habitat가 초당 7천만 건이 넘는 요청을 처리하고, 매주 10억 명이 넘는 사람들에게 서비스를 제공하며, 거의 40개 지역에 걸쳐 5백 페타바이트가 넘는 데이터를 관리한다고 말했습니다. 이 게시물은 Habitat가 2024년 중반 단일 데이터베이스에 연결된 Python 라이브러리로 시작해 나중에 독립형 서비스가 된 과정을 설명합니다. OpenAI는 저장 로직을 서비스로 옮김으로써 여러 제품 팀 전반의 조정 부담을 줄이면서 배포, 가시성, 접근 제어, 데이터 보안을 중앙에서 관리할 수 있었다고 밝혔습니다. 또한 OpenAI는 asyncio 스케줄링 지연, 연결 풀링 동작, 하위 계층 부하 관리와 같은 문제를 포함해 이 규모에서 고처리량 Python 서비스를 운영할 때의 엔지니어링상 절충점도 설명했습니다. 회사는 이후 2026년 2분기에 Habitat를 Rust로 다시 작성했으며, 새 버전이 이제 더 낮은 CPU 및 메모리 사용량으로 대부분의 운영 트래픽을 처리한다고 밝혔습니다.