KPMG가 AI 케이스 스터디를 날조한 사태가 남긴 것: "Secondary Hallucination"의 시대

컨설팅 대기업 KPMG가 AI 도입을 권장하기 위해 작성한 보고서 "Redefining excellence in the age of agentic AI"에서 여러 기관의 AI 도입 사례가 조작된 것으로 드러났다. UBS, 영국 NHS, 스위스 연방철도, Transport for London 사례가 보고서에 담겼지만, Financial Times 확인 결과 해당 기관들이 그런 프로젝트를 수행했다는 근거는 없었다. 이 사건이 불편한 이유는 단순히 AI가 또 틀렸기 때문이 아니다. 보고서를 쓴 주체가 KPMG였기 때문이다. 고객에게 AI 도입을 설득하는 문서 안에서, AI로 생성했거나 검증 없이 편집한 것으로 보이는 사례가 "공신력 있는 컨설팅 자료"의 형식을 입고 배포됐다. GPTZero CEO Edward Tian은 이를 "secondary hallucination"이라고 불렀다. 모델의 헛소리가 아니라, 그 헛소리를 받아 쓴 사람이 권위를 덧씌워 다시 유통시키는 2차 환각이다. 보고서에는 GPTZero가 오류를 탐지했고 Financial Times가 직접 확인한 내용이 포함됐다. KPMG는 이후 여러 웹사이트에서 보고서를 조용히 내렸다. 하지만 이미 중요한 질문은 남았다. AI 도구를 팔거나 도입을 권하는 조직이, 정작 자신의 주장과 증거를 검증하는 파이프라인을 갖추지 못했다면 고객은 무엇을 믿어야 할까. 특히 AI 컨설팅 시장에서는 "효율"과 "자동화"가 빠르게 팔린다. 그런데 이 사건은 효율보다 먼저 필요한 것이 출처 확인, 사실 검증, 승인 흐름, 책임 소재라는 점을 보여준다. AI가 만든 초안은 빠르지만, 권위 있는 조직이 그 초안을 제대로 확인하지 않으면 오류는 더 빨리 퍼지고 더 오래 남는다. 이번 사태의 핵심은 KPMG 한 회사의 실수에 그치지 않는다. AI가 만든 문장보다 위험한 것은, 그 문장을 검증 없이 제도권 언어로 포장하는 과정이다. 앞으로 AI 도입 보고서와 컨설팅 제안서를 읽을 때는 모델 이름이나 자동화 수준보다 먼저 봐야 할 것이 있다. 사례가 실제인지, 출처가 확인되는지, 틀렸을 때 누가 바로잡는지다.