HBM, 이제 용량보다 대역폭 싸움인가?

DeepSeek V4.1 Flash가 HBM 병목의 기준을 바꾸고 있다는 분석이 나온다. V4.1 Flash는 토큰당 글로벌 KV캐시를 기존 약 3.5KB에서 890바이트 수준으로 줄였다. CSA2 기반 FP4 KV 캐싱으로 크로스레이어 재사용을 구현하고, SWA Bounded Replay로 최근 윈도우 토큰만 재구성해 지속적인 KV캐시 풋프린트를 V4 Flash 대비 1/8 수준으로 축소했다. 이 변화가 의미하는 바는 단순한 메모리 절감이 아니다. 그동안 AI 서버의 핵심 병목으로 지목되던 HBM 용량 문제가 완화되면서, 상대적으로 대역폭의 중요성이 커질 수 있다는 점이다. 압축이 대역폭 수요까지 줄여주는 것은 아니다. 디코딩 과정에서는 여전히 매 스텝마다 모델 파라미터와 KV 엔트리를 불러와야 한다. 오히려 용량에 여유가 생기면 서버는 더 많은 동시 시퀀스를 수용하려 하기 때문에, HBM 용량 1GB당 필요한 대역폭은 높아질 수 있다. 이 관점에서 보면 Ultra급 HBM 스택이 12-Hi에서 8-Hi, 나아가 4-Hi까지 낮아질 수 있다는 논의는 공급 부족의 신호라기보다 필요한 용량 자체가 줄어들고 있다는 신호로 해석할 수 있다. 투자 관점에서 더 중요한 변화는 성능의 무게중심이 적층된 D램 다이에서 베이스 다이로 이동할 가능성이다. 컨트롤러와 PHY를 베이스 다이 내부로 내리면 저전압, 고핀레이트, 짧은 신호 경로를 통해 단순히 스택을 높이는 것보다 효율적으로 대역폭을 확보할 수 있다는 논리다. 베이스 다이의 제작원가는 상부 D램 다이보다 3~4배 높은 것으로 거론된다. 이에 따라 향후에는 베이스 다이에 대한 별도 파운드리 발주가 늘어날 가능성도 있다. HBM 밸류체인은 적층 판매 중심에서 다이 설계와 파운드리 역량을 결합한 컴포넌트 공급 모델로 이동할 수 있다. HBM 시장을 볼 때 적층 수와 생산능력만 볼 것이 아니라, 누가 더 효율적인 베이스 다이와 인터페이스를 설계하고 생산할 수 있는지도 함께 봐야 하는 이유다.