AI의 진짜 병목은 지능이 아니라 맥락이다

AI가 지금보다 열 배 많은 맥락을 비슷한 비용과 속도로 다룰 수 있고, 한 번 읽고 계산한 자료를 다음 작업에서도 쉽게 재사용할 수 있다면 꽤 많은 일이 달라질 것 같음. 지금은 자료를 자르고 요약하는 데만 상당한 비용이 들어감. 그래서 AI에게 맡길 수 있는 업무에도 자연스럽게 한계가 생김. 그런데 이 병목이 풀리면 복잡한 업무도 훨씬 쉽게 맡길 수 있게 됨. 아마 사람들은 AI를 지금보다 훨씬 더 많이 쓰게 될 것 같음. 결국 세상 거의 모든 업무에 AI가 본격적으로 투입되는 방향으로 갈 가능성이 큼. 지금은 천만 토큰, 일억 토큰을 향해 가는 과정임. GPU와 전력뿐 아니라 KV 캐싱에 필요한 메모리 비용까지 부담이 상당함. 그래도 인류가 이 황금알을 낳을 가능성을 보면서 “백만 토큰이면 충분함”이라고 멈출 가능성은 거의 없어 보임. 아직 태동기라고 하지만, 이미 너무나 목마른 상태이기 때문임.