엔비디아(CEO 젠슨 황)가 DGX 포트폴리오 업데이트를 발표했다.
현재 엔비디아(NVIDIA) DGX H100 시스템을 주문할 수 있으며, 해당 인프라 빌딩 블록은 엔비디아의 풀스택 엔터프라이즈 AI 솔루션을 지원한다.
엔비디아 DGX H100은 FP8 정밀도에서 32페타플롭스(petaflops)의 성능을 자랑하며, 엔터프라이즈 AI 개발의 효율을 비약적으로 개선한다. 이전 세대와 비교해 소유 총비용(TCO)은 3배 낮고, 에너지 효율은 3.5배 높다.
AI 개발의 간소화와 가속화를 책임지는 새 엔비디아 베이스 커맨드(Base Command) 소프트웨어가 단일 노드에서 DGX 슈퍼(Super)POD에 이르는 DGX 시스템 일체를 지원한다.
DGX POD가 한층 더 진화한 엔비디아 DGX 베이스(Base)POD도 공개됐다. DGX 베이스POD는 엔터프라이즈 데이터센터 AI 배포를 더욱 쉽고 빠르게 만들어 기업 내 IT 팀들의 관련 작업과 관리를 돕는다.
엔비디아 베이스 커맨드는 엔터프라이즈 단위의 조정과 클러스터 관리를 제공하며, 풀스택 소프트웨어로 AI 개발자 생산성과 IT 관리성, 워크로드 성능을 극대화한다.
베이스 커맨드의 워크플로우 관리 기능에 온프레미스 환경의 DGX 슈퍼POD 지원이 새롭게 포함됐다. 이를 통한 개발팀들의 협업 간소화와 일원화된 모니터링 및 보고 대시보드로 AI 개발 프로젝트의 중앙 집중식 제어가 가능하다.
베이스 커맨드는 DGX 시스템 일체에 포함된 엔비디아 AI 엔터프라이즈(Enterprise) 소프트웨어 제품군과 함께 구동된다. 엔비디아 AI 소프트웨어는 AI와 데이터 사이언스 툴, 최적화된 프레임워크와 사전 훈련 모델로 엔드-투-엔드 방식의 AI 개발과 배포를 지원한다.
또한 엔터프라이즈 워크플로우 관리를 비롯해 DGX-레디 소프트웨어(Ready Software) 공급사인 도미노 데이터 랩(Domino Data Lab)과 런.ai(Run.ai), 웨이츠 앤드 바이어시스(Weights & Biases), 엔비디아 인셉션(Inception) 회원사 리스케일(Rescale)의 MLOps 통합을 지원한다. 이와 더불어 컴퓨팅, 스토리지, 네트워크 인프라를 최적화/가속하는 한편 시스템 업타임과 보안, 안정성을 극대화하는 라이브러리를 함께 제공한다.
DGX 베이스POD는 컴퓨팅과 네트워킹, 스토리지, 소프트웨어 통합 디자인의 모범 사례를 담은 DGX 시스템 참조 아키텍처를 제공한다.
엔비디아 DGX POD는 이미 엔터프라이즈 애플리케이션 개발에 광범위하게 사용되고 있다. 이 같은 성공을 기반으로 구축된 DGX 베이스POD는 자연어 처리와 헬스케어, 생명 공학, 부정 탐지 등 AI가 중차대한 역할을 수행하는 산업 부문에 혁신적인 솔루션들을 제공한다.
DGX 베이스POD 솔루션은 완벽 통합과 즉시 배포가 가능한 제품으로 엔비디아 파트너 네트워크(Partner Network)를 통해 만나볼 수 있다. DDN과 델(Dell), 넷앱(NetApp), 퓨어 스토리지(Pure Storage), VAST 데이터(VAST Data), 웨카(WEKA) 등의 엔비디아 DGX 스토리지 테크놀로지 파트너사들이 인증을 거쳐 제공하는 고성능 스토리지와 함께 DGX 시스템 두 개에서 수백 개로 이루어진 다양한 사이즈가 제공된다.
전세계 기업들은 자사의 가장 진일보한 AI 워크로드 구동에 엔비디아 DGX 시스템을 활용한다. DGX A100 시스템을 기반으로 업무에 결정적인 AI 기능들을 개발 중인 AI 혁신가들을 소개한다.
머신 러닝과 관련 제품을 연구하는 어뎁트(Adept)는 AI 팀원을 구축하고 있다. 이를 구동할 대규모 언어 모델은 엔비디아 DGX 파운드리(Foundry)에서 프로토타입을 제작한 뒤, 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)의 엔비디아 메가트론(Megatron)과 엔비디아 A100 GPU로 스케일링한다.
현대 자동차 그룹(Hyundai Motor Group)은 40노드 DGX 슈퍼POD를 사용해 하이퍼스케일 AI 워크로드를 탐구하고 있다.
통신 기업 KT는 기가 지니(GiGA Genie) 스마트 스피커 등 한국어 애플리케이션을 위해 400억 개의 파라미터를 가진 대형 언어 모델(LLM)을 개발한다. 여기에는 엔비디아 네모 메가트론(NeMo Megatron) 프레임워크와 엔비디아 DGX 슈퍼POD, 엔비디아 베이스 커맨드 소프트웨어가 사용된다.
위스콘신대학교 매디슨 캠퍼스는 의료 이미징 디바이스에 AI를 도입하기 위한 발 빠른 노력의 일환으로 엔비디아 DGX 시스템과 플라이휠(Flywheel) 연구 플랫폼, 엔비디아 클라라(Clara) 헬스케어 애플리케이션 프레임워크를 활용하고 있다. 엔비디아 플레어(NVIDIA FLARE)로 여러 병원과 협업하면서 의료 이미징과 주석화, 분류용 AI 모델들을 DGX 시스템에서 안전하게 훈련한다.
[영상] PC시장 관점에서 보는 명암이 갈린 인텔과 AMD의 2024년 2분기 실적,그리고 PC 시장의 미래는? 
