엔비디아는 차세대 AI 데이터 센터를 지원하기 위한 차세대 가속 컴퓨팅 플랫폼 엔비디아 호퍼(NVIDIA Hopper) 아키텍처를 발표했다.
미국 컴퓨터 과학자 그레이스 호퍼(Grace Hopper)의 이름을 딴 이 새로운 아키텍처는 2년 전에 출시된 엔비디아 암페어(NVIDIA Ampere) 아키텍처를 계승하며, 800억 개의 트랜지스터를 탑재한 최초의 호퍼 기반의 GPU인 엔비디아 H100도 발표했다.
대형 AI 언어 모델, 딥 추천 시스템, 유전체학 및 복잡한 디지털 트윈 등의 지원을 위한 H100은 트랜스포머 엔진과 확장성을 위한 엔비디아 NVLink 인터커넥트 기술을 지원하여 초당 5TB 수준의 외부 연결이 가능하고, 제작에 TSMC 4N 프로세스가 사용된다.
3분기부터 이용 가능한 H100은 PCIe Gen5와 HBM3을 지원하는 최초의 GPU로 3TB/s의 메모리 대역폭을 실현, 엔비디아는 이를 바탕으로 20대의 H100 GPU는 전 세계 인터넷 트래픽과 동등한 성능을 유지할 수 있어 고객들이 데이터에 대한 추론을 실행하는 고급 추천 시스템 및 대규모 언어 모델을 실시간으로 제공할 수 있다고 소개했다.
H100 액셀러레이터의 자연어 처리 모델인 트랜스포머 엔진은 이전 세대와 비교하여 최대 6배의 속도를 낼 수 있도록 설계되었고, MIG 기술을 통해 단일 GPU를 7개의 소형 절연 인스턴스로 분할하여 다양한 유형의 작업을 처리할 수 있다. 호퍼 아키텍처는 각 GPU 인스턴스을 통해 클라우드 환경에서 안전한 멀티테넌트 구성을 제공함으로써 이전 세대보다 MIG 기능을 최대 7배 확장한다.
기밀 컴퓨팅 기능을 갖춘 H100은 AI 모델과 고객 데이터가 처리되는 동안 이를 보호한다. 또한 고객은 개인 정보 보호에 민감한 산업 및 공유 클라우드 인프라에 대한 페더레이티드 러닝에도 기밀 컴퓨팅을 적용할 수 있다.
H100에 적용된 4세대 엔비디아 NVLink는 이전 버전보다 9배 더 높은 대역폭으로 최대 256개의 H100 GPU를 엔비디아 HDR 퀀텀 인피니밴드(Quantum Infiniband)를 사용하여 연결하고, 새로운 DPX 명령은 경로 최적화 및 유전체학 등 광범위한 알고리즘에 사용되는 동적 프로그래밍을 이전 세대 CPU 대비 40배, GPU 대비 7배 가속화한다.
호퍼 아키텍처의 텐서 코어는 트랜스포머 엔진을 통합, FP8과 FP16 정밀도 동시 작업 절밀도를 끌어 올렸으며, TF32/ PF64/ PF16/ INT8 정밀도의 부동 소수점 연산 성능을 전 세대 대비 세 배 높였다.
H100은 단일 트랜스포머 언어 모델인 Megatron 530B를 사용하여 실시간 대화 AI에 필요한 1초 미만의 지연 시간을 충족하면서 이전 세대보다 처리량을 30배까지 향상시킨다. 또한 H100을 사용하면 3,950억 개의 매개변수를 사용하여 전문가 혼합과 같은 대규모 모델을 최대 9배 빠르게 교육할 수 있어 교육 시간을 몇 주에서 몇 일로 단축할 수 있다.
H100은 폭넓은 서버 설계 요건을 지원하기 위해 SXM 및 PCIe 폼 팩터로 제공된다. H100 GPU를 엔비디아 ConnectX-7 400Gb/s 인피니밴드(InfiniBand) 및 이더넷 스마트NIC와 페어링하는 통합된 가속기도 이용할 수 있다.
엔비디아의 H100 SXM은 4방향 및 8방향 구성의 HGX H100 서버 보드로 제공되며, 애플리케이션을 서버 내 또는 여러 서버에 걸쳐 여러 GPU로 확장할 수 있는 기업용으로 제공된다. H100 PCIe는 2개의 GPU를 접속할 수 있는 NVLink를 탑재하였고, 기존 데이터 센터 인프라에 쉽게 통합할 수 있다.
새로운 통합 액셀러레이터인 H100 CNX는 H100과 I/O 부하가 높은 어플리케이션에 기업 데이터센터의 멀티노드 AI 트레이닝이나 엣지에서의 5G 신호 처리 등 획기적인 퍼포먼스를 제공하기 위해 ConnectX-7 SmartNIC를 결합한다. 엔비디아 호퍼 아키텍처 기반의 GPU는 엔비디아 그레이스(NVIDIA Grace) CPU와 조합하여 초고속 NVLink-C2C 인터커넥트를 통해 PCIe 5.0에 비해 CPU와 GPU 간의 통신이 7배 이상 빨라진다.
스펙면에서 GH100은 최대 144SM 구성이 가능하지만, H100 SXM5 모델은 132SM에 62TPC, H100 PCIe 모델은 114SM 구성에 57TPC이며, GPU 메모리는 양 모델 모두 80GB지만 메모리 대역폭은 각각 300GB/s와 200GB/s로 예정되어 있다. TDP는 SXM 모델이 700W에 PCIe 모델은 350W, 서버 옵션으로는 최대 8GPU 구성을 지원한다.
[영상] 2024년 하반기 신제품 살펴보기 GPU/서버편,인텔 배틀메이지/가우디3/제온6/AMD MI325X/에픽 튜린/엔비디아 RTX AI PC 
