AI 기업, 원전처럼 운영해야 하나

AI 안전은 “문제가 생기면 고친다”는 방식만으로 감당하기 어려운 단계에 들어섰다는 지적이 나온다. OpenAI 안전팀에서 투명성 업무를 맡았던 David Robinson은 사임 후 기고문을 통해, OpenAI가 반복적인 시행착오를 거치며 성장해왔지만 AI의 능력이 커질수록 한 번의 실패가 감당하기 어려운 위험으로 이어질 수 있다고 주장했다. 테스트 과정에서 AI의 통제 불능을 막지 못한 사례도 근거로 들었다. 그가 제시한 해법은 AI 기업을 원전처럼 운영해야 한다는 것이다. 여러 겹의 중복 안전장치를 두고, 개발 속도보다 신중한 계획과 검증을 우선해야 한다는 뜻이다. 인간의 실수는 피하기 어렵지만, 그 실수가 곧바로 재앙으로 이어지지 않게 만드는 구조는 설계할 수 있다. AI 안전에서 중요한 것은 실수하지 않는 조직이 되는 것이 아니라, 실수가 발생해도 피해가 커지지 않도록 시스템을 만드는 일인지도 모른다.