사진 한 장을 3D 모델로 바꾸는 도구는 이제 낯설지 않습니다. Modly가 눈에 들어오는 지점은 생성 모델 자체보다 실행 장소와 확장 방식을 한 세트로 설계했다는 데 있습니다. 이 프로젝트는 Windows, Linux, Apple Silicon macOS용 데스크톱 앱이며, 오픈소스 AI 모델을 사용해 로컬 GPU에서 이미지→3D 메시 생성을 수행합니다. 브라우저에 이미지를 올리고 결과를 기다리는 서비스와는 출발점이 다릅니다.
사용자는 Workflows 탭에서 Image, Generate Mesh, Add to Scene 같은 노드를 이어 붙입니다. 실행 전 그래프 연결을 검사하고, 잘못된 배선이 있으면 현재 메시 뷰를 없애지 않은 채 인라인이나 토스트 경고를 표시합니다. 생성형 도구에서 이 부분은 사소한 UI 배려가 아닙니다. 실패가 발생했을 때 작업 중간 결과를 보존하느냐가 실제 사용성을 가릅니다. 가져온 메시를 앱 안에서 smooth와 decimate로 정리하고, 최적화된 결과를 workspace에 다시 기록하는 흐름도 같은 맥락입니다.
Modly의 모델 구조는 더 개방적입니다. 앱에 모델을 하나씩 고정하는 대신, `manifest.json`과 필요한 런타임 파일을 가진 GitHub 저장소를 확장으로 설치합니다. Models 페이지에서 HTTPS URL을 입력한 뒤 모델이나 변형을 내려받는 방식입니다. README에 적힌 공식 확장만 해도 Hunyuan3D 2 Mini의 mini·turbo·fast 버전, TripoSG, Trellis2 GGUF가 있습니다. 모델을 바꾸기 위해 앱 전체를 갈아엎지 않아도 되는 구조입니다.
이 설계는 편리함과 주의점을 동시에 가져옵니다. 추론이 로컬 GPU에서 돌아가면 이미지와 결과물을 외부 생성 API로 보내지 않는 운영이 가능하지만, GitHub 확장을 설치하는 순간 외부 코드와 모델을 내 작업 공간으로 가져오게 됩니다. 로컬 실행은 데이터 흐름을 줄여주지만, 확장 출처를 대신 검증해주지는 않습니다.
자동화 쪽도 준비돼 있습니다. `tools/modly-cli/agent.py`는 health, model, workflow-run, capability, process-run을 기계가 읽을 수 있는 JSON으로 제공합니다. `generate` 명령은 이미지로 워크플로 실행을 시작하고 상태를 확인한 뒤 최종 메시를 GLB로 내보낼 수 있습니다. 반면 legacy 엔드포인트나 ComfyUI 관련 experimental 명령은 canonical 계약과 분리해 두었습니다. 사람이 앱을 조작하는 흐름과 에이전트가 호출하는 흐름을 구분한 셈입니다.
그래서 Modly는 ‘사진을 3D로 바꾸는 앱’보다 ‘로컬 GPU, 외부 확장, 검증된 워크플로, CLI를 한 작업 공간에 묶는 앱’에 가깝습니다. 다만 macOS 지원은 Apple Silicon으로 한정되고, 생성은 GPU 자원을 요구합니다. 설치 전 하드웨어와 확장 저장소를 확인해야 한다는 조건까지 포함해야 이 프로젝트의 실제 그림이 보입니다.