HBM, 많이 쌓는 게 다가 아니네

Rubin Ultra의 HBM을 12-Hi에서 8-Hi로 낮추는 조정은 단순한 용량 축소가 아니다. 현재 AI 추론의 병목이 메모리에 얼마나 많이 담을 수 있는지가 아니라, 필요한 데이터를 얼마나 빠르고 저렴하게 이동할 수 있는지에 있기 때문이다. HBM 적층 층수는 주로 용량을 결정하지만, 전체 대역폭은 HBM 스택 수와 인터페이스 폭, 전송 속도의 영향을 더 크게 받는다. 따라서 12-Hi를 8-Hi로 낮추더라도 스택 수와 인터페이스 구성을 유지하면 대역폭을 유지하거나 오히려 높일 수 있다. 동시에 DRAM 다이 사용량은 약 3분의 1 줄어들어 부족하고 비싼 HBM 공급 부담도 완화할 수 있다. 추론 중심으로 이동하는 AI 워크로드에서는 모델 가중치와 KV Cache를 계속해서 빠르게 읽고 쓰는 능력이 중요하다. 단순히 더 많은 데이터를 저장하는 것보다, 제한된 메모리와 전력 안에서 높은 실효 대역폭을 확보하는 것이 성능과 비용을 좌우한다. Rubin Ultra의 변화는 HBM 경쟁의 기준이 바뀌고 있음을 보여준다. 앞으로의 질문은 ‘HBM 용량이 얼마나 큰가’가 아니라 ‘1달러로 얼마나 많은 대역폭을 확보하는가’가 된다.