PrismML의 Bonsai 27B는 온디바이스 AI 경쟁이 어디로 가고 있는지 꽤 선명하게 보여준다. 이 모델은 Alibaba Qwen3.6-27B를 기반으로 하며, PrismML은 27B급 추론 모델을 스마트폰에서 돌릴 수 있는 크기까지 줄였다고 설명한다. 일반적인 FP16 27B 모델은 약 54GB가 필요하고, 보통 방식으로 압축해도 18GB 안팎이다. Bonsai의 가장 작은 버전은 약 3.9GB까지 내려간다.
이 숫자가 중요한 이유는 스마트폰의 실제 제약 때문이다. PrismML은 iPhone 17 Pro Max처럼 12GB RAM을 가진 기기에서도 단일 앱이 실제로 쓸 수 있는 메모리가 약 6GB 수준이라고 본다. 모델만 올리면 끝나는 문제가 아니다. cache, 전력, 발열, 토큰 생성 속도까지 함께 맞아야 한다. PrismML이 제시한 수치는 iPhone 17 Pro Max 기준 초당 약 11토큰, 배터리 1%당 약 672토큰이다. 5분 조금 지난 뒤에는 약한 스로틀링도 관측됐다.
성능 면에서는 회사 자체 평가 기준으로 큰 버전이 원본 성능의 95%, 작은 버전이 90%를 유지했다고 한다. 수학과 코딩 점수는 거의 영향을 받지 않았고, 손실은 주로 이미지 이해, 지시 따르기, 도구 사용형 에이전트 작업에서 더 크게 나타났다. 이 대목이 오히려 현실적이다. 모든 능력을 같은 비율로 보존한 마법 같은 압축이 아니라, 어떤 작업은 잘 버티고 어떤 작업은 먼저 무너지는 압축이다.
Bonsai 27B의 의미는 단순히 "아이폰에서 큰 모델이 돈다"에 머물지 않는다. 에이전트가 화면, 문서, 중간 결과, 도구 호출 정보를 계속 읽고 처리해야 하는 시대에는 클라우드 호출이 비용과 지연뿐 아니라 데이터 경계의 문제가 된다. 민감하거나 반복적인 단계는 기기 안에서 처리하고, 어려운 추론만 클라우드 frontier 모델로 넘기는 하이브리드 구조가 더 설득력을 얻는다.
Apple이 이 기술을 테스트하고 있다는 보도도 그래서 눈에 띈다. 논의는 아직 초기 단계로 전해졌지만, Apple은 이미 더 강한 온디바이스 모델과 클라우드 기반 모델 사이의 균형을 고민하고 있다. Bonsai가 보여주는 방향은 작은 모델을 더 똑똑하게 만드는 것과 조금 다르다. 큰 모델의 추론 패턴을 얼마나 작게 접어 넣을 수 있는지가 다음 경쟁축이 되고 있다.