LLM을 판단 엔진처럼 써보는 얘기

Jev 덕분에 구조화된 출력이 다시 흥미로워졌다는 글임. 긴 답변을 생성하는 대신, AI가 프로그램의 여러 의사결정 지점에서 빠르고 저렴하게 판단을 내려주면 기존 챗봇과는 다른 형태의 응용을 만들 수 있다는 내용임. Jev는 자연어 입력과 선택지를 받아 여러 질문을 병렬 처리하고, 텍스트로 전달된 게임 상태를 바탕으로 Doom을 실시간으로 플레이할 정도의 속도를 보여줬다고 함. 흥미로운 점은 이런 특성이 꼭 새로운 모델에서만 가능한 건 아니라는 부분임. 응답 앞부분을 미리 채우고 선택지를 단일 토큰으로 출력하게 만들면 기존 LLM에서도 비슷한 구조를 구현할 수 있고, Qwen 소형 모델 실험에서는 일반적인 구조화된 출력보다 2~3배 빠른 결과가 나왔다고 함. 결국 LLM을 긴 글을 써주는 도구로만 보지 않고, 애플리케이션 곳곳에서 빠르게 선택을 수행하는 판단 엔진으로 활용할 수 있다는 이야기로 읽힘. 링크