학습비는 내려가는데, 추론비는 왜 커질까?

오픈웨이트 모델이 프론티어급 성능에 가까워지면서 태스크당 학습 비용은 최대 80%까지 낮아지고 있다. 이는 AI 학습비용의 구조적 하락을 의미하는 동시에, 학습 인프라에 대한 과잉투자 우려를 키운다. 다만 추론 단계의 비용 절감은 제한적이다. Kimi K3는 2.8조개 파라미터를 보유하며, MXFP4 기준 파라미터 저장에만 약 1.5TB의 가속기 메모리가 필요하다. 100만 토큰 컨텍스트까지 고려하면 DRAM과 NAND를 포함한 메모리 수요는 더 커진다. 이런 부담은 Kimi K3만의 문제가 아니다. Kimi K3는 64개 이상의 가속기로 구성된 SuperNode 사용을 권고하고 있으며, Qwen3.8과 DeepSeek V4 같은 조단위 파라미터 모델도 비슷한 수준의 추론 인프라를 요구할 가능성이 높다. 결국 AI 비용은 한쪽에서는 내려가고 다른 쪽에서는 커지는 구조다. 모델 학습은 효율화되지만, 사용량 자체는 빠르게 늘고 있다. 주요 프론티어 모델의 토큰 사용량이 급증하고 있으며, Anthropic과 OpenAI의 합산 ARR은 2026년 7월 1,000억달러를 넘어서는 흐름을 보인다. 5월 고점 이후 토큰 지출 인덱스가 하락했음에도 모델 사용량 확대와 대규모 추론 인프라 수요가 동시에 나타나는 이유다. AI 인프라 시장은 단순한 비용 하락 국면이 아니라, 학습 효율화와 추론 수요 폭증이 충돌하는 재편 국면에 들어서고 있다.