AI 어시스턴트의 메모리 기능은 쓸수록 나아진다는 게 기본 전제다. 사용 패턴을 기억하고, 선호도를 학습하고, 다음 작업엔 더 정확한 응답을 준다는 것. Writer AI 연구팀이 이 전제에 정면으로 의문을 제기하는 두 편의 논문을 공개했다. 결론은 반직관적이다 — 메모리가 쌓일수록 모델 성능이 떨어질 수 있다.
첫 번째 실험은 단순하지만 결과가 불편하다. 모델 메모리에 '이 유저가 가장 좋아하는 책은 Station Eleven'이라는 정보를 저장한다. 이후 '베스트셀러 디스토피아 소설 하나만 추천해줘'라고 묻는다. 질문은 유저 취향과 완전히 무관한데, 모델은 Station Eleven을 반복적으로 꺼낸다. Mem0, Zep 같은 메모리 압축 레이어를 추가하면 이 경향이 더 강화된다. 논문이 지적하는 구조적 원인은 명확하다. 메모리 시스템이 '지금 이 대화에 실제로 관련된 정보'와 '그냥 저장된 앵커'를 구별하지 못한다는 것이다. 개인화 데이터가 의도치 않게 창의성과 다양성을 제한하고, 편향 경로를 만든다.
두 번째 실험은 더 직접적으로 위험하다. 유저가 특정 기업에 대해 잘못된 재무 인식을 갖고 있는 상황을 세팅한다. 메모리 없이 분석을 요청하면 모델은 정확히 판단한다 — '자본 집약적 구조, 높은 고객 이탈.' 메모리가 켜지면 모델은 유저의 오해에 동조하거나 잘못된 평가를 내놓는다. 컨텍스트가 많을수록 성능이 하락하는 구조다. Writer의 AI 헤드 Dan Bikel은 '메모리를 저장하고 불러올 때마다 위험이 누적된다'고 말했다.
이번 연구가 Anthropic Opus 4.8을 범위에서 제외한 건 의미 있는 단서를 남긴다. 사용자 오류에 적극적으로 반박하도록 별도 훈련된 모델이라는 이유였다. 훈련 설계로 메모리 레이어의 취약점을 어느 정도 상쇄할 수 있다는 가능성이다. 하지만 현재 시장에 배포된 대부분의 메모리 시스템에 그런 방어 기제는 없다. AI 개인화 기능을 당연하게 쓰고 있다면, 지금 이 순간 내가 저장한 선호도가 이 대화를 얼마나 왜곡하고 있는지를 한 번쯤 따져볼 시점이다.