딥시크, AI 돌리는 메모리 확 줄였다
1개월 전
딥시크가 새 모델에서 AI 추론에 필요한 메모리와 저장장치 용량을 크게 줄였다고 밝혔다.
오는 14일부터 기존 V4-프로를 단계적으로 폐지하고, 모든 추론 작업을 저가 모델로 자동 전환할 예정이다. 핵심은 AI가 문장을 생성할 때 이전 연산 결과를 임시로 저장하는 KV캐시를 줄인 것이다. 토큰 하나를 처리하는 데 필요한 캐시 용량을 890바이트까지 낮춰 직전 모델인 V4 플래시의 4분의 1 수준으로 줄였고, 장기 저장에 필요한 SSD 용량도 8분의 1로 축소했다고 설명한다.
모델 구조도 메모리 효율에 맞춰 바꿨다. 전체 40개 레이어 중 앞부분은 문서를 요약하는 인코더로, 뒷부분은 요약본만 활용하는 디코더로 나눴다. 여러 레이어가 캐시를 함께 사용하는 방식도 적용했다.
결국 같은 추론 작업을 더 적은 메모리와 저장장치로 처리하겠다는 전략이다. 모델 성능뿐 아니라 운영 비용과 인프라 효율을 앞세운 경쟁이 한층 더 치열해지는 흐름으로 보인다.
2
투자 유의사항
모든 투자 의사결정에 대한 책임은 전적으로 투자자 본인에게 있으며, 서비스 내 정보를 활용해 발생한 금전적 손실이나 법적 문제에 대해서 작성자와 당사는 어떠한 법적 책임도 지지 않습니다.