AI 컴퓨팅 기술 분야의 선두주자인 엔비디아가 언리얼 페스트 시애틀 2024(Unreal Fest Seattle 2024)에서 엔비디아 ACE(NVIDIA ACE)를 위한 새로운 언리얼 엔진 5 온디바이스 플러그인(Unreal Engine 5 on-device plugin)을 출시한다고 밝혔다.
언리얼 엔진 5 온디바이스 플러그인은 윈도우 PC(Windows PC)에서 AI 기반 메타휴먼(MetaHuman) 캐릭터를 더 쉽게 제작하고 배포할 수 있도록 지원한다. 엔비디아 ACE는 생성형 AI로 구동되는 음성, 지능, 애니메이션을 제공하는 디지털 휴먼 기술 제품군이다.
또한 개발자들은 오토데스크 마야(Autodesk Maya)에서 AI 기반 페이셜 애니메이션(Facial Animation)을 위한 새로운 오디오투페이스-3D(Audio2Face-3D) 플러그인을 이용할 수 있다. 이 플러그인은 간단하고 간소화된 인터페이스를 제공해 마야에서 아바타를 더 쉽고 빠르게 개발할 수 있도록 도와준다. 이 플러그인에는 소스 코드가 함께 제공되므로 개발자는 원하는 디지털 콘텐츠 제작(Digital Content Creation, DCC) 툴을 위한 플러그인을 직접 개발할 수 있다.
엔비디아는 에픽(Epic)의 언리얼 픽셀 스트리밍 기술(Unreal Pixel Streaming technology)을 활용하는 언리얼 엔진 5 렌더러 마이크로서비스도 구축했다. 이 마이크로서비스는 현재 얼리 액세스 버전으로 엔비디아 ACE 애니메이션 그래프 마이크로서비스(Animation Graph Microservice)와 리눅스(Linux) 운영 체제를 지원한다. 애니메이션 그래프 마이크로서비스는 사실적이고 반응이 빠른 캐릭터 움직임을 구현하며, 언리얼 픽셀 스트리밍을 지원해 메타휴먼 창작물을 모든 디바이스로 스트리밍할 수 있다.
메타휴먼 캐릭터에 생동감을 불어넣는 최신 엔비디아 ACE 기술
엔비디아 ACE 언리얼 엔진 5 샘플 프로젝트는 게임과 애플리케이션에 ACE를 통합하고자 하는 개발자를 위한 가이드 역할을 한다. 이 샘플 프로젝트는 다음과 같은 온디바이스 ACE 플러그인을 확장한다:
• 립싱크와 페이셜 애니메이션을 위한 오디오투페이스-3D
• 반응 생성을 위한 네모트론 미니 4B 인스트럭트(Nemotron Mini 4B Instruct) 모델
• 컨텍스트 정보를 위한 검색 증강 생성(Retrieval-Augmented Generation, RAG)
개발자는 지적 재산에 대한 데이터베이스를 구축하고, 짧은 지연 시간으로 관련 응답을 생성할 수 있다. 그리고 이러한 응답이 언리얼 엔진 5에서 해당 메타휴먼 페이셜 애니메이션을 원활하게 구동하도록 설정할 수 있다. 이러한 각 마이크로서비스는 지연 시간이 짧고 메모리 공간을 최소화하는 윈도우 PC에서 실행되도록 최적화돼 있다.
새로운 플러그인들은 곧 출시될 예정이다. 이를 실행하려면 메타휴먼 캐릭터와 함께 적절한 ACE 플러그인과 언리얼 엔진 샘플을 다운로드 해야 한다.
마야 ACE 플러그인으로 3D 애니메이션 간소화하기
오토데스크 마야는 게임 개발자와 테크니컬 아티스트가 고품질 3D 그래픽을 제작할 수 있는 고성능 애니메이션 기능을 제공한다. 이제 오디오투페이스-3D 플러그인을 사용해 모든 캐릭터의 고품질 오디오 기반 페이셜 애니메이션을 보다 쉽게 생성할 수 있다. 간소화된 사용자 인터페이스를 통해 언리얼 엔진 5 환경으로 원활하게 전환이 가능하다. 소스 코드와 스크립트는 고도로 맞춤화가 가능하며 다른 디지털 콘텐츠 제작 툴에서 사용할 수 있도록 수정할 수 있다.
이를 시작하려면 API 키를 생성하거나 오디오투페이스-3D 마이크로서비스를 다운로드 해야 한다. 오디오투페이스-3D 마이크로서비스는 모든 클라우드 또는 데이터 센터에 파운데이션 모델을 빠르게 배포할 수 있는 간편한 마이크로서비스 세트인 엔비디아 NIM의 일부이다.
그 다음으로 오토데스크 마야 2023, 2024 또는 2025가 있는지 확인해야 한다. 여기서 엔비디아/마야-ACE 깃허브(GitHub) 리포지토리에 액세스할 수 있다. 여기에는 마야 플러그인, gRPC 클라이언트 라이브러리, 테스트 에셋, 샘플 장면 등 오디오투페이스-3D로 탐색하고, 학습하고, 혁신적인 작업을 수행하는 데 필요한 모든 것이 포함된다.
언리얼 엔진 5 픽셀 스트리밍으로 디지털 휴먼 기술 배포 확장하기
클라우드를 통해 디지털 휴먼 기술을 배포할 때 목표는 가능한 한 많은 고객에게 동시에 도달하는 것이다. 고품질의 캐릭터를 스트리밍하려면 상당한 컴퓨팅 리소스가 필요하다. 엔비디아 ACE의 최신 언리얼 엔진 5 렌더러 마이크로서비스는 얼리 액세스 버전에서 엔비디아 애니메이션 그래프 마이크로서비스와 리눅스 운영 체제에 대한 지원을 추가한다.
언리얼 엔진 프리셋을 사용한 동시 스트림 수. 얼리 액세스 이후에는 성능이 변경될 수 있다.
애니메이션 그래프는 다른 AI 모델과 상호 작용해 캐릭터의 대화형 파이프라인을 생성하는 마이크로서비스이다. 개발자는 RAG 아키텍처를 연결하고 컨텍스트와 대화 기록을 모두 유지하는 역할을 담당한다. 새로운 언리얼 엔진 5 픽셀 스트리밍 호환성을 통해 클라우드의 서버에서 메타휴먼 캐릭터를 실행하고 렌더링된 프레임과 오디오를 웹RTC(Web Real-Time Communication)를 통해 모든 브라우저와 엣지 디바이스로 스트리밍할 수 있다.
언리얼 엔진 5 렌더러 마이크로서비스 시작하기
언리얼 엔진 5 렌더러 마이크로서비스를 사용하려면 얼리 액세스를 신청할 수 있다. 여기서 엔비디아 ACE에 대해 자세히 알아보고 여기서 NIM 마이크로서비스를 다운로드해 생성형 AI 기반의 게임 캐릭터 제작을 시작할 수 있다.
[영상] PC시장 관점에서 보는 명암이 갈린 인텔과 AMD의 2024년 2분기 실적,그리고 PC 시장의 미래는? 
