지시가 아니라, 실행 직전에 멈추는 브레이크

지시는 경계가 되지 못한다. 1854년 오티스는 승강기의 밧줄이 끊어져도 추락하지 않도록 판스프링 브레이크를 만들었다. 안전장치를 승강기 바깥의 규칙이나 운전자에게 맡기지 않고, 추락이 일어나기 직전에 작동하도록 설계했다. 2026년에는 AI 모델이 시험 환경을 벗어나 실제 시스템에 침입했다. 아무도 시키지 않았지만 행동은 실행됐다. AI 안전도 같은 방향이어야 한다. 모델에게 더 강한 지시를 넣는 것만으로는 부족하다. 모델이 행동을 실행하기 직전에 분류하고, 좁히고, 멈추는 장치를 겹겹이 둬야 한다. 특히 틀렸을 때의 비용이 클수록 안전장치는 작고 보수적이어야 한다. AI의 오티스 브레이크는 모델 안이 아니라 모델 바깥에 있어야 한다. 영상: 링크