Agentic AI가 수십만~수백만 토큰의 긴 문맥을 다루면서 Attention 연산의 중요성이 커지고 있습니다.

NVIDIA Rubin은 Tensor Core 성능 향상뿐 아니라 Attention 전체 경로를 최적화해 새로운 병목으로 떠오른 Softmax 문제까지 겨냥했습니다. Rubin은 FP32 Exponential 처리량을 Blackwell 대비 2배, BF16·FP16은 4배 높였습니다. 여기에 Activation Sparsity를 적용해 실제로 계산해야 하는 중간 Activation의 양도 줄였습니다. 결과적으로 Long Context Attention은 단일 커널의 성능 개선을 넘어, Exponential 연산과 중간 계산량을 함께 최적화하는 방향으로 발전하고 있습니다. 긴 문맥을 기반으로 추론하는 Agentic AI의 성능과 효율을 높이는 핵심 요소가 될 전망입니다.