엔비디아(CEO 젠슨 황)가 전 세계 휴머노이드 개발 가속화에 나선다고 밝혔다. 엔비디아(NVIDIA)는 세계 유수의 로봇 제조업체, AI 모델 개발자, 소프트웨어 제조업체에 차세대 휴머노이드 로봇의 개발, 훈련, 구축을 위한 서비스, 모델, 컴퓨팅 플랫폼 제품군을 제공한다.
여기에는 로봇 시뮬레이션과 학습을 위한 새로운 엔비디아 NIM 마이크로서비스와 프레임워크가 포함된다. 또한, 다단계 로봇 작업을 실행하기 위한 엔비디아 오스모(OSMO) 오케스트레이션 서비스와 개발자가 적은 양의 인간 데모 데이터를 사용해 로봇을 훈련할 수 있도록 하는 AI와 시뮬레이션 지원 원격 운영 워크플로우도 포함된다.
NIM 마이크로서비스는 엔비디아 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공해, 개발자가 배포 시간을 몇 주에서 몇 분으로 단축할 수 있도록 한다. 엔비디아 아이작 심(Isaac Sim)은 엔비디아 옴니버스(Omniverse) 플랫폼에 설계된 로봇 시뮬레이션용 레퍼런스 애플리케이션이다. 로봇 공학자들은 이 아이작 심에서 두 가지 새로운 AI 마이크로서비스를 통해 물리 생성형 AI를 위한 시뮬레이션 워크플로우를 개선할 수 있다.
미믹젠(MimicGen) NIM은 애플 비전 프로(Apple Vision Pro)와 같은 공간 컴퓨팅 장치에서 원격으로 조작한 데이터를 기반으로 합성 모션 데이터를 생성한다. 로보카사(Robocasa) NIM은 3D 월드 내의 개발과 협업을 위한 범용 프레임워크인 오픈USD(OpenUSD)에서 로봇 작업과 시뮬레이션 지원 환경을 생성한다.
현재 사용 가능한 엔비디아 오스모는 클라우드 네이티브 관리형 서비스다. 이는 사용자가 온프레미스(on-premises)나 클라우드로 분산된 컴퓨팅 리소스 전반에서 복잡한 로봇 개발 워크플로우를 조율하고 확장할 수 있도록 지원한다.
오스모는 로봇 훈련과 시뮬레이션 워크플로우를 대폭 간소화해 배포와 개발 주기를 수개월에서 1주일 이내로 단축한다. 사용자는 합성 데이터 생성, 모델 훈련, 강화 학습 수행, 그리고 휴머노이드, 자율 모바일 로봇, 산업용 조작기를 위한 대규모 SIL(Software-in-the-Loop) 수행 등 다양한 작업을 시각화하고 관리할 수 있다.
휴머노이드 로봇의 파운데이션 모델을 훈련하려면 엄청난 양의 데이터가 필요하다. 인간의 데모 데이터를 캡처하는 방법 중 하나는 원격 조작을 사용하는 것이지만, 점점 더 많은 비용과 시간이 소요되고 있다.
연구자와 AI 개발자는 엔비디아 AI와 옴니버스 지원 원격 작업 레퍼런스 워크플로우를 통해 원격으로 수집한 최소한의 인간 데모 데이터로 방대한 양의 합성 모션과 인식 데이터를 생성할 수 있다. 이는 이번 시그라프(SIGGRAPH) 컴퓨터 그래픽 콘퍼런스에서 시연됐다.
먼저, 개발자가 애플 비전 프로를 사용해 소수의 원격 조작 데모를 캡처한다. 그런 다음 엔비디아 아이작 심에서 녹화본을 시뮬레이션하고 미믹젠 NIM을 사용해 녹화본에서 합성 데이터 세트를 생성한다.
개발자는 실제 데이터와 합성 데이터로 프로젝트 GR00T(Project GR00T) 휴머노이드 파운데이션 모델을 훈련함으로써 시간을 절약하고 비용을 절감할 수 있다. 그런 다음 로봇 학습을 위한 프레임워크인 아이작 랩(Isaac Lab)의 로보카사 NIM을 사용해 로봇 모델을 재훈련하기 위한 경험을 생성한다. 워크플로우 전반에 걸쳐 엔비디아 오스모는 컴퓨팅 작업을 다양한 리소스에 원활하게 할당해 개발자는 몇 주 동안 관리 작업을 하지 않아도 된다.
범용 로봇 플랫폼 회사인 푸리에(Fourier)는 시뮬레이션 기술을 사용해 훈련 데이터를 합성 생성하는 것의 유용성을 잘 파악하고 있다.
엔비디아는 휴머노이드 로봇 개발을 용이하게 하는 세 가지 컴퓨팅 플랫폼을 제공한다. 바로 모델 훈련을 위한 엔비디아 AI 슈퍼컴퓨터, 로봇이 시뮬레이션 세계에서 학습하고 기술을 개선할 수 있는 옴니버스 기반의 엔비디아 아이작 심, 모델 실행을 위한 엔비디아 젯슨 토르(Jetson Thor) 휴머노이드 로봇 컴퓨터다. 개발자는 특정 요구 사항에 따라 플랫폼 전체나 일부에 액세스해 사용할 수 있다.
새로운 엔비디아 휴머노이드 로봇 개발자 프로그램(Humanoid Robot Developer Program)을 통해 개발자는 새로운 제품과 엔비디아 아이작 심, 엔비디아 아이작 랩, 젯슨 토르, 그리고 프로젝트 GR00T 범용 휴머노이드 파운데이션 모델의 최신 릴리스에 대한 얼리 액세스 권한을 얻을 수 있다.
얼리 액세스 프로그램에 처음으로 참여하게 된 회사에는 1X 테크놀로지스(1X Technologies), 보스턴 다이내믹스(Boston Dynamics), 필드 AI(Field AI), 피규어 AI(Figure AI), 푸리에, 갈봇(Galbot), 림스 다이나믹스(LimX Dynamics), 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(Neura Robotics), 로보테라(RobotEra), 스킬드 AI(Skild AI)가 있다.
개발자들은 지금 엔비디아 휴머노이드 로봇 개발자 프로그램에 가입해 엔비디아 오스모와 아이작 랩에 액세스할 수 있으며, 곧 엔비디아 NIM 마이크로서비스에 액세스할 수 있다.
8월 1일까지 미국 덴버에서 열리는 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프에서 젠슨 황과의 좌담회를 통해 최신 생성형 AI와 가속 컴퓨팅에 대해 자세히 알아볼 수 있다.
[영상] 2024년 하반기 신제품 살펴보기 GPU/서버편,인텔 배틀메이지/가우디3/제온6/AMD MI325X/에픽 튜린/엔비디아 RTX AI PC 
