AI 오발, 미군 중국과 전쟁 위기 만들 뻔

최근 AI가 잘못된 정보를 생성하여 미국 군이 중국과의 군사 작전을 준비하는 위기를 초래할 뻔한 사건이 발생했습니다. 이 사건은 AI 사용의 위험성을 다시 한 번 강조하며, 특히 군사적 의사 결정에 AI를 활용할 때의 신중함을 요구하고 있습니다. 미국 특수작전사령부의 분석가가 AI 도구를 사용하여 잘못된 정보를 생성했고, 이는 중국 선박이 중동을 통해 핵무기 프로그램 부품을 운반하고 있다는 잘못된 정보를 제공했습니다.

이 잘못된 정보로 인해 미국 군은 공중 지원을 포함한 선박 나포를 준비하고 있었으나, 보고서 작성에 사용된 챗봇이 선박이 운반 중인 물질을 부정확하게 식별한 것을 발견하면서 작전은 중단되었습니다. 이 사건은 AI가 '환각(hallucination)' 현상을 일으켜 전문 보고서의 신뢰성을 훼손한 사례 중 하나로, AI가 훈련 데이터에 충분한 맥락을 제공받지 못할 때 정보를 만들어내는 경향이 있음을 보여줍니다.

미국 국방부는 AI를 통한 정보 분석의 문제점을 인식하고 있음에도 불구하고, AI 가속화 전략을 통해 모든 적절한 데이터를 AI 활용을 위해 제공하려는 계획을 추진 중입니다. 국방부는 Google의 Gemini와 Anthropic의 Claude와 같은 AI 도구를 사용하여 맞춤형 플랫폼을 개발하고 있으며, AI 시스템의 책임 있는 사용을 위해 인간의 개입과 통제를 강조하고 있습니다.