디스코드가 AI 모더레이션 시스템 버그로 8,000명 넘는 사용자를 잘못 차단했다고 인정했다. TechCrunch 보도에 따르면 오탐 대상은 스프레드시트, 체스판, 게임 텍스처, 흰색·회색 투명 배경 같은 무해한 이미지였다. 5월부터 문제가 이어졌고, 주말 사이 추가로 200명이 차단된 뒤 디스코드 팀이 원인을 찾아 수정했다. 회사는 영향을 받은 계정을 복구 중이라고 밝혔다.
이번 사건은 단순한 "AI가 이미지를 잘못 분류했다"는 이야기가 아니다. 디스코드의 설명에 따르면 시스템은 업로드된 이미지를 알려진 유해 자료 데이터베이스와 매칭한다. 이런 유사도 탐지는 오탐을 낼 수 있기 때문에 원래는 Trust & Safety 팀의 사람이 검토한 뒤 조치가 이뤄져야 했다. 하지만 버그 때문에 일부 계정은 사람의 리뷰를 거치기 전에 바로 차단됐다.
여기서 핵심은 탐지와 처벌 사이의 거리다. 자동 탐지는 플랫폼 운영에 필요하다. 특히 불법·악성 콘텐츠를 대규모로 막아야 하는 서비스라면 사람이 모든 파일을 직접 확인할 수 없다. 문제는 자동 시스템이 의심 신호를 냈을 때, 그 신호가 곧바로 영구 정지 같은 강한 조치로 이어지는 구조다. AI가 틀릴 수 있다는 사실보다, 틀렸을 때 사용자가 감당해야 하는 비용이 너무 컸다.
디스코드는 많은 사람에게 단순한 채팅앱이 아니다. 게임 개발자는 텍스처를 공유하고, 커뮤니티 운영자는 서버를 관리하며, 일부 사용자는 업무 연락망과 장기적인 인간관계를 디스코드 계정 안에 쌓아둔다. 기사에 언급된 사용자들처럼 게임 텍스처나 격자 패턴 이미지 때문에 계정이 정지됐다면, 그것은 불편을 넘어 생활 인프라의 갑작스러운 단절이 될 수 있다.
AI 모더레이션의 방향은 더 강한 모델 하나로 해결되지 않는다. 자동 플래그 이후 사람 리뷰가 실제로 작동하는지, 리뷰가 지연될 때 어떤 제한 조치를 먼저 적용할지, 이의제기와 복구 절차가 사용자에게 보이는지까지 함께 설계해야 한다. 특히 CSAM처럼 민감한 영역일수록 빠른 탐지가 중요하지만, 그만큼 오탐을 흡수할 완충 장치도 강해야 한다.
이번 디스코드 사례는 플랫폼 안전의 기준을 다시 묻는다. 얼마나 많은 악성 콘텐츠를 잡았는지만이 성과가 아니다. 잘못 잡은 사용자를 얼마나 덜 망가뜨리고, 얼마나 빨리 되돌릴 수 있는지도 같은 무게로 측정해야 한다. AI가 문지기 역할을 맡는 시대라면, 잘못 닫힌 문을 다시 여는 절차까지 제품의 일부가 되어야 한다.