Meta의 인스타그램 해킹 사건은 AI 보안 논의를 조금 다른 방향으로 돌려놓는다. 최근 많은 관심은 Anthropic의 Mythos처럼 AI가 직접 공격자가 되어 해킹 능력을 키우는 시나리오에 쏠려 있었다. 하지만 MIT Technology Review가 다룬 이번 사례에서 AI는 공격자가 아니라 공격 대상이자 실행자였다.
404 Media 보도에 따르면 공격자들은 Meta의 AI 고객지원 에이전트를 이용해 인스타그램 계정을 탈취했다. 방식은 놀랄 만큼 단순했다. 계정을 자신들이 통제하는 이메일 주소와 연결해 달라고 요청했고, 에이전트는 그 요청을 처리했다. dormant 상태였던 Obama White House 계정이 뚫려 친이란 게시물이 올라갔고, 가치가 높은 단어형 핸들도 표적이 됐다.
이 사건이 중요한 이유는 공격 기법이 고급이어서가 아니다. 오히려 반대다. 계정 소유자의 위치처럼 보이도록 VPN을 맞춘 뒤, 고객지원 AI에게 이메일 변경을 요청하는 정도의 흐름이었다. Duke의 Neil Gong은 AI가 계정 복구 같은 업무 자동화에 더 많이 쓰일수록 공격자들이 AI 자체를 겨냥할 유인이 커진다고 지적한다. Georgetown CSET의 Jessica Ji도 이런 시나리오가 사전에 테스트됐는지, 가드레일이 있었는지 묻는다.
AI 에이전트의 매력은 유연성이다. 사람 대신 고객의 요청을 이해하고, 여러 상황에 맞춰 빠르게 처리할 수 있다. 그러나 그 유연성이 계정 복구, 이메일 변경, 민감 정보 안내 같은 권한과 결합되면 위험은 완전히 달라진다. Wisconsin–Madison의 Somesh Jha가 말했듯, 에이전트는 때로 작업을 끝내고 싶어 하는 학생처럼 행동할 수 있다. 문제는 그 “친절한 완료”가 실제 계정 탈취로 이어질 수 있다는 점이다.
해법은 모델 성능만의 문제가 아니다. 민감한 작업에는 전통적인 소프트웨어 규칙이 필요하다. 보안 질문, 추가 인증, 관리자 승인, 작업 지연, 위험 점수 기반 차단처럼 LLM이 우회할 수 없는 절차가 붙어야 한다. 배포 전 red-teaming도 선택 사항이 아니라 운영 비용으로 봐야 한다. 공격자는 하나의 빈틈만 찾으면 되지만, 방어자는 가능한 많은 경로를 막아야 하기 때문이다.
이번 사건의 교훈은 현실적이다. AI 에이전트가 더 많은 업무를 맡을수록 기업은 단순히 챗봇을 붙이는 것이 아니라 권한을 가진 운영 직원을 배치하는 셈이다. 그 직원이 LLM이라면, 얼마나 잘 대답하는지보다 언제 멈추고 확인하고 거절하는지를 먼저 설계해야 한다.