LLM 속도, GPU 성능만의 문제는 아니네

LLM 추론 속도, GPU 연산력만의 문제는 아님 핵심 병목은 답변을 한 토큰씩 생성하는 Decode 단계에 있음. Prefill은 병렬처리가 가능하지만, Decode는 토큰을 순차적으로 만들어야 해서 매 토큰마다 모델 가중치를 불러와야 함 GPU는 가중치를 HBM에서 연산부로 계속 이동시켜야 함. 모델이 커질수록 연산 자체보다 이 데이터 이동이 더 큰 부담이 될 수 있음 Cerebras는 웨이퍼 스케일 칩 전체에 대규모 SRAM을 분산 배치해 가중치를 연산부 가까이에 둠. 회사 설명 기준 가중치 이동 속도는 GPU 대비 약 2,500배 빠름 결국 LLM 추론 경쟁의 핵심은 단순한 FLOPS 경쟁이 아님. 가중치를 얼마나 빠르게 공급할 수 있는지, 메모리 구조를 어떻게 설계하는지가 더 중요해지는 흐름임 AI 반도체 경쟁의 병목이 Compute에서 Memory Movement로 이동하고 있음 💻 반도체 소부장 | 그로쓰리서치