The Decoder가 전한 이번 사건은 군사 AI를 둘러싼 논의를 훨씬 불편한 방향으로 끌고 간다. 미군은 이란과의 전쟁 초기 Palantir의 Maven Smart System에 Anthropic Claude를 탑재해 첫날 약 1,000개의 표적을 제안받았다. WSJ 보도 기준으로 초반 며칠 동안 타격된 표적은 3,000개를 넘었다. 겉으로는 AI가 전장의 속도를 바꾼 사례처럼 보인다.
하지만 조사에서 드러난 결정적 실패는 모델의 추론 능력이 아니었다. 이란 남동부 미나브의 한 건물은 과거 해군 시설로 분류돼 있었지만, 2019년 한 정보 분석관이 이미 그곳이 초등학교로 바뀐 정황을 디지털 정보 도구에 표시했다. 문제는 그 도구가 미군의 공식 표적 데이터베이스와 연결돼 있지 않았다는 점이다. 메모는 존재했지만 지휘관이 보는 시스템까지 도달하지 못했다.
그 결과 건물은 이후 여러 차례 검토됐지만 데이터베이스는 갱신되지 않았다. New York Times에 따르면 사용된 영상 정보는 7년 전 자료였다. LA Times 조사는 이 단절이 어린이 약 120명의 사망으로 이어진 학교 타격과 연결된다고 전했다. 이 사건이 보여주는 것은 ‘AI가 위험하다’는 추상적 문장이 아니라, 최신 AI가 낡은 데이터 인프라 위에 얹힐 때 어떤 일이 벌어지는지다.
중심에는 1980년대에 만들어진 MIDB라는 표적 데이터베이스가 있다. 이 시스템은 여전히 수작업 입력에 크게 의존하고, 자동화 시스템 MARS로 대체될 예정이지만 전환은 수년째 지연 중이다. GAO는 이미 2020년에 이 구조적 문제를 지적했다. 반면 표적 추천과 작전 속도는 Maven과 Claude 같은 AI 도구를 통해 급격히 빨라지고 있다. 속도의 레이어와 검증의 레이어가 서로 다른 시대에 머물러 있는 셈이다.
흥미롭게도 가장 날카로운 비판은 AI 반대론자가 아니라 Project Maven을 이끌었고 Joint Artificial Intelligence Center 초대 책임자였던 Jack Shanahan에게서 나왔다. 그는 정보의 정확성을 확인하지 않은 지휘부에는 변명의 여지가 없다고 말했다. 그의 지적은 AI를 쓰지 말자는 말이 아니다. AI를 실제 작전에 넣으려면 데이터 최신성, 시스템 연결성, 표적 vetting, 사람의 중단권까지 함께 설계해야 한다는 경고에 가깝다.
이 사건은 군사 분야를 넘어 모든 AI 도입 조직에 같은 질문을 던진다. 모델이 보는 데이터는 최신인가. 현장의 예외와 경고가 의사결정 시스템까지 전달되는가. 검토 절차는 단순 승인 버튼인가, 실제로 멈출 수 있는 장치인가. AI가 더 빠른 판단을 제공할수록, 조직은 더 느리고 지루해 보이는 데이터 관리와 검증 체계를 먼저 고쳐야 한다.