엔비디아가 독일 쾰른에서 열리는 게임스컴(Gamescom)에서 게임 캐릭터의 대화 능력을 향상시키는 디지털 휴먼 기술 온디바이스 소형 언어 모델(small language model, sLM)을 선보인다.
해당 기술은 어메이징 시선 게임즈(Amazing Seasun Games)가 개발한 새로운 멀티플레이어 메카 게임 메카 브레이크(Mecha BREAK)에서 시연된다. 이는 캐릭터에 생동감을 불어넣고, 지포스 (GeForce) RTX AI PC에서 더욱 역동적이고 몰입감 넘치는 게임 플레이 경험을 선사한다.
새로운 온디바이스 모델인 네모트론-4 4B 인스트럭트(Nemotron-4 4B Instruct)는 게임 캐릭터들의 대화 능력을 향상시켰다. 이를 통해 게임 캐릭터들은 플레이어를 더욱 직관적으로 이해하고 자연스럽게 반응할 수 있도록 한다.
엔비디아(NVIDIA)는 ACE 기술을 지포스 RTX AI PC와 노트북에서 바로 실행될 수 있도록 최적화했다. 이는 개발자들이 메카 브레이크와 같은 차세대 게임에서 최첨단 디지털 휴먼 기술을 배포하는 능력을 크게 향상시킨다.
엔비디아 네모트론-4 4B 인스트럭트는 향상된 롤플레잉, 검색 증강 생성(retrieval-augmented generation, RAG), 함수 호출(function-calling) 기능을 제공한다. 이를 통해 게임 캐릭터가 플레이어의 지시를 더욱 직관적으로 이해하고, 게이머에게 반응하며 보다 정확하고 관련성 높은 작업을 수행할 수 있도록 지원한다.
이 모델은 생성형 AI 기반 애플리케이션의 개발과 배포 경로를 간소화하는 엔비디아 NIM 마이크로서비스로 제공된다. NIM은 낮은 메모리 사용량에 최적화돼 더 빠른 응답 시간을 제공하며, 개발자가 1억 대 이상의 지포스 RTX 기반 PC와 노트북을 효과적으로 활용할 수 있도록 한다.
네모트론-4 4B 인스트럭트는 생성형 AI로 구동되는 음성, 지능, 애니메이션을 제공하는 디지털 휴먼 기술 제품군인 엔비디아 ACE의 일부다. 게임 개발자는 클라우드와 온디바이스 배포를 위해 이를 NIM으로 사용할 수 있다.
메카 브레이크는 킹소프트 코퍼레이션(Kingsoft Corporation)의 게임 자회사인 어메이징 시선 게임즈가 개발한 게임이다. 이는 온디바이스로 실행되는 엔비디아 네모트론-4 4B 인스트럭트 NIM을 통해 ACE 기반 게임 인터랙션을 최초로 선보이고 있다. 엔비디아 오디오투페이스-3D(Audio2Face-3D) NIM과 오픈AI(OpenAI)의 자동 음성 인식 모델인 위스퍼(Whisper)는 온디바이스로 실행되는 얼굴 애니메이션과 음성 인식을 제공한다. 일레븐랩스(ElevenLabs)는 클라우드를 통해 캐릭터의 음성을 지원한다.
세계 최대 게임 박람회 중 하나인 게임스컴에서 최초로 공개된 이 데모에서 엔비디아 ACE와 디지털 휴먼 기술은 플레이어가 메카닉 논플레이어 캐릭터(NPC)와 상호작용할 수 있도록 지원한다. 메카닉 NPC는 플레이어가 다양한 메카닉 로봇 또는 메카 중에서 자신의 플레이 스타일이나 팀의 요구 사항을 보완하고, 외형 커스터마이징을 지원하며, 거대한 전투 기계를 가장 적절하게 준비할 수 있도록 조언해준다.
엔비디아 ACE와 디지털 휴먼 기술은 게임 업계에서 계속해서 그 입지를 넓혀가고 있다.
글로벌 게임 배급사이자 개발사인 퍼펙트 월드 게임즈(Perfect World Games)는 새로운 AI 기반 비전 기능을 통해 엔비디아 ACE와 디지털 휴먼 기술 데모인 레전드(Legends)를 발전시키고 있다. 데모에서 캐릭터 윤니(Yun Ni)는 챗GPT-4o(ChatGPT-4o)로 구동되는 컴퓨터 카메라를 사용해 게이머를 보고, 현실 세계의 사람과 사물을 식별할 수 있다. 이러한 기능은 게임플레이 경험에 증강 현실(Augmented Reality, AR) 레이어를 추가함으로써 PC 게임의 몰입도와 접근성을 새로운 차원으로 끌어올린다.
[영상] PC시장 관점에서 보는 명암이 갈린 인텔과 AMD의 2024년 2분기 실적,그리고 PC 시장의 미래는? 
