AI가 빠르게 에이전트형 시스템으로 이동하면서 기업의 질문도 바뀌고 있다. 이제는 “어떤 모델이 가장 강한가”만으로는 충분하지 않다. 모델 성능은 몇 달 단위로 바뀌지만, 실제 조직이 오래 쓰게 되는 기반은 훨씬 덜 화려한 곳에 있다.
MIT Technology Review Insights와 Elastic이 정리한 이 글은 그 기반을 네 가지로 나눈다. AI-ready data, context engineering, governance와 LLM observability, 그리고 human expertise다.
첫 번째 출발점은 데이터다. 레거시 시스템, 흩어진 데이터 소유권, 불완전한 데이터셋은 에이전트형 AI가 실제 업무에 들어갈 때 곧바로 병목이 된다. 글은 Gartner 전망을 인용해, 2026년까지 AI-ready data가 뒷받침되지 않는 AI 프로젝트의 60%가 중단될 수 있다고 짚는다.
두 번째는 context engineering이다. 여기서 맥락은 단순히 프롬프트에 더 많은 자료를 넣는 일이 아니다. 검색, 우선순위, 최신성, 기계가 읽을 수 있는 구조를 설계하는 일에 가깝다. RAG와 벡터 데이터베이스가 필요할 수 있지만, 핵심은 “많이 넣기”가 아니라 필요한 맥락만 정확하게 공급하는 것이다. 과한 컨텍스트는 관련성을 흐리고 비용과 지연을 키운다.
세 번째는 거버넌스와 관측 가능성이다. retrieval, workflow, model usage에 대한 통제가 없으면 토큰 비용이 커지고, prompt 기반 정보 유출이나 adversarial input 같은 보안 리스크도 커진다. Elastic의 2026년 보고서에서 IT 의사결정자의 85%가 내부 생성형 AI 앱에 LLM observability를 적용할 것으로 예상한다는 대목은, 관측 가능성이 이제 선택 기능이 아니라 운영 인프라가 되고 있음을 보여준다.
마지막은 사람이다. Deloitte 2025 Tech Executive Survey에서 응답자의 약 70%가 생성형 AI에 대응해 팀을 키울 계획이라고 답했다. AI가 깊게 들어갈수록 필요한 사람은 줄어드는 것이 아니라, 워크플로를 통제하고 결과를 평가하고 프로세스를 다시 설계할 수 있는 사람이 더 중요해진다는 신호다.
이 글의 메시지는 단순하다. 에이전트 데모보다 먼저 봐야 할 것은 데이터 소유권, 검색 맥락, 비용 관측, 보안 통제, 내부 지식이다. 모델은 바뀌어도 이 기반은 남는다.