Shenzhen, China - 2025 년 7 월 - AI 및 대형 언어 모델 컴퓨팅에 대한 획기적인 Nvidia는H100 141GBNVL Original, AI 성능, 메모리 용량 및 에너지 효율의 경계를 높이기 위해 설계된 차세대 솔루션. Enterprise-Scale AI 워크로드를 염두에두고 구축 된 H100 NVL 141GB 모듈은 오늘날의 최첨단 데이터 센터, 언어 모델 교육 및 전례없는 속도 및 규모의 추론에 대한 요구를 충족하도록 조정되었습니다.
3 배 더 빠른 LLM 추론 - NVL 아키텍처로 구동됩니다
표준 SXM 또는 PCIE GPU와 달리 H100 NVL은 NVLink를 통해 연결되고 141GB의 공유 HBM3 메모리와 7TB/s 이상의 메모리 대역폭을 갖춘 듀얼 GPU 솔루션으로 패키지 된 2 개의 H100 GPU를 특징으로하는 고유 한 폼 팩터입니다. 이것은 이상적인 GPU로 만듭니다.
GPT-3, GPT-4 및 LLAMA 3 훈련
대규모 변압기 추론 워크로드
멀티 모달 AI 작업 (비전 언어, 연설 등)
NVIDIA의 내부 테스트에 따르면 H100 NVL은 A100 80GB에 비해 큰 언어 모델에 대해 최대 12 배 빠른 추론을 제공합니다.
