에이전트 시대, 결국 메모리 싸움?

에이전트는 인간보다 거의 5배 많은 토큰을 사용하고 있으며, 토큰 사용량은 지난 2월 이후 약 14배 증가했다는 분석이 나왔다. 특히 에이전트형 작업에서 소비되는 토큰의 85% 이상이 캐시된 프롬프트에서 발생한다는 점이 눈에 띈다. 사람의 대화가 보통 ‘프롬프트와 응답’으로 끝난다면, 에이전트는 하나의 목표를 달성할 때까지 읽고 쓰고 판단하는 과정을 반복한다. 초기에는 정책, 절차, 코드 가이드라인 같은 방대한 컨텍스트를 프리필하고, 이후 작업을 진행하면서 새로운 정보를 기존 캐시에 계속 쌓는다. 에이전트가 오래 일할수록 캐시도 커지는 구조다. 캐시 토큰은 초기 프리필 토큰보다 저렴하기 때문에 에이전트의 경제성을 높이는 요소다. 하지만 동시에 메모리를 계속 점유한다. 에이전트가 매번 처음부터 다시 시작하지 않고 이전 작업 상태를 유지한 채 연산하려면 더 많은 메모리 자원이 필요하다. HBM 수요가 강해지는 배경을 여기서 찾을 수 있다. 더 흥미로운 점은 에이전트가 단순히 AI 인프라만 키우는 데 그치지 않을 수 있다는 것이다. 에이전트가 기존 자동화와 워크플로우 소프트웨어의 기능을 직접 수행하게 되면, 관련 도구에 대한 수요가 줄어들 가능성도 있다. 실제로 Similarweb 데이터에서는 Gumloop을 제외한 자동화 툴 관련 웹사이트의 트래픽이 지속적으로 감소하고 있다. 결국 에이전트의 확산은 토큰 사용량, 캐시, 메모리 반도체, 자동화 소프트웨어 수요를 하나의 흐름으로 연결한다. 지금의 에이전트 경쟁은 모델 성능만의 경쟁이 아니라, 작업 상태를 얼마나 오래 유지하고 값싸게 이어갈 수 있는지를 둘러싼 인프라 경쟁에 가깝다고 판단한다.