수술 로봇 연구에서 시뮬레이터는 오랫동안 물리 장비를 대신하는 안전한 연습장에 가까웠습니다. 하지만 수술 장면은 단순한 3D 그래픽으로 만들기 어렵습니다. 변형되는 조직, 반사 표면, 바늘과 봉합사, 기구의 미세한 접촉, 연기와 가림이 한꺼번에 움직입니다. NVIDIA Cosmos-H-Surgical-Simulator는 실제 영상과 로봇 운동학에서 이런 시각적 변화를 학습해, 주어진 행동 뒤에 올 장면을 생성하는 접근을 택했습니다.
Cosmos-H-Dreams는 그 모델을 실시간 상호작용 쪽으로 밀어붙인 결과입니다. 공개된 dVRK 탁상 봉합 모델은 초기 RGB 프레임과 로봇 운동학 스트림을 받아 다음 프레임 묶음을 자율적으로 생성합니다. 브라우저 클라이언트는 키보드 명령을 보내고 WebRTC로 합성 장면을 받습니다. Meta Quest 컨트롤러를 로봇 행동으로 바꿔 WebXR에서 확인하는 방식도 제공됩니다. 생성된 관측과 정책의 다음 행동을 맞물리면, 사람이 조작하는 환경을 넘어 폐루프 정책 평가 환경이 됩니다.
속도는 교사 모델을 그대로 빠르게 만든 결과가 아닙니다. Cosmos-H-Surgical-Simulator를 교사로 두고, causal warmup으로 스트리밍 구조를 익힌 학생 모델을 만든 뒤 self-forcing distillation을 적용했습니다. 학생이 자기 출력의 오류를 다음 문맥으로 사용하도록 훈련해, 실제 배포 조건과 학습 조건의 차이를 줄였습니다. FlashDreams는 streaming KV cache, CUDA Graph 캡처, 모델 컴파일을 통해 이 학생 모델을 서빙합니다. 노트에 따르면 표준 추론의 약 10fps 수준이 단일 RTX PRO 6000에서 약 160fps로 올라갑니다.
여기서 브라우저는 장식이 아니라 입력과 생성 관측이 만나는 제어면입니다. 그래서 속도가 빨라질수록 검증 지점도 선명해집니다. 화면이 매끄럽게 이어지는 것과 기구·조직 상태가 실제 행동에 맞게 유지되는 것은 다릅니다. 장기 롤아웃의 드리프트, 툴팁 도달과 자세 오차, 그리퍼 사이클 재현, 실제 로봇과 시뮬레이션의 정책 결과 일치도를 따로 봐야 합니다.
훈련 데이터의 구성도 이 목적과 맞닿아 있습니다. 성공한 시연만 넣지 않고 바늘 낙하, 미스드 스로, 실패한 매듭 같은 실패 및 분포 밖 에피소드를 포함했습니다. 수술 정책을 평가하려면 잘못된 행동이 만든 결과까지 생성해야 하기 때문입니다. 실패가 빠진 시뮬레이터는 보기 좋은 연습장이 될 수 있어도, 정책의 취약점을 찾는 시험장은 되기 어렵습니다.
Cosmos-H-Dreams의 다음 과제는 더 높은 프레임 속도가 아닙니다. 생성된 장면이 오래 유지되는지, 드문 실패를 재현할 수 있는지, 시뮬레이션에서 내린 결론이 물리 로봇으로 옮겨가는지를 계량하는 일입니다. 브라우저에서 바로 조작할 수 있다는 접근성은 연구의 문턱을 낮추지만, 인터랙티브함 자체가 신뢰성을 증명하지는 않습니다. 수술용 physical AI에서 중요한 숫자는 프레임 속도와 함께 장기 안정성과 실제 전이 성능이어야 합니다.