TPU: 모델 성공이 만든 추론 칩

TPU의 출발점은 모델의 성공이 만들어낸 추론 비용 문제였음. Google 음성 인식 팀은 사람보다 뛰어난 음성 전사 시스템을 학습시켰음. 그런데 문제는 성능이 아니었음. 실제 서비스로 제공할 컴퓨팅 자원이 부족했음. 당시에는 Nexus 스마트폰에 배포하는 것조차 제한적이었음. 모델은 이미 충분히 좋아졌는데, 대중적인 제품으로 확산될 인프라가 없었던 것임. Jonathan Ross는 이를 해결하기 위해 20% 프로젝트로 FPGA에 모델을 포팅하기 시작했음. 그런데 Jeff Dean은 앞으로 Google이 필요로 할 추론 연산량을 보고 FPGA보다 ASIC을 만드는 편이 합리적이라고 판단했음. 그렇게 시작된 것이 결국 TPU로 이어졌음. 전형적인 AI의 ‘성공 재난’ 구조임. 모델이 좋아짐. 수요가 급증함. 기존 서빙 비용 구조가 무너짐. 인프라가 제품의 병목이 됨. 우리는 보통 추론 인프라를 모델 혁신 이후에 따라붙는 요소로 생각함. 하지만 TPU 사례는 순서가 반대였음. 모델의 성공을 감당하지 못한 것이 새로운 칩 개발을 만들어냈음. 벤치마크 성능 향상이 시작점이었지만, 그 성능을 실제 사용자에게 대규모로 배포하려면 결국 실리콘이 필요했음. 지금도 AI 산업의 다음 병목은 모델이 아니라, 성공한 모델을 감당할 수 있는 인프라에서 나올 가능성이 크다고 봄.