NVIDIA HGX

Что такое NVIDIA HGX

NVIDIA HGX — это специализированная серверная платформа от NVIDIA, предназначенная для высокопроизводительных вычислений (HPC), задач искусственного интеллекта (ИИ), глубокого обучения и облачных вычислений. Она представляет собой мощный аппаратный модуль с несколькими (до 8) графическими процессорами NVIDIA, объединёнными высокоскоростными связями NVLink через NVSwitch для эффективной обучения больших языковых моделей (LLM).

Основные характеристики и особенности NVIDIA HGX:

• Конфигурация GPU: Стандартно используется до 8 GPU NVIDIA от A100 с 80 ГБ памяти HBM2 на GPU в базовых версиях и до современных H100/H200 в современных поколениях.
• Высокая производительность: Благодаря архитектурам Ampere, Hopper и Blackwell HGX обеспечивает значительный рост эффективности — в частности, серверы HGX H200 позволяют ускорить обучение моделей трансформеров (GPT, BERT и прочих) в десятки раз по сравнению с предыдущими поколениями.
• Межсоединения: Используются NVLink и NVSwitch для объединения GPU в единый вычислительный кластер с очень низкой задержкой и высокой пропускной способностью (например, до 900 ГБ/с для H100 GPU), что критично для распределённого обучения и масштабируемых облачных решений.
• Гибкость и кастомизация: Платформа HGX предоставляется NVIDIA в виде GPU-модулей (монолитных плат с 8 GPU), а выбор CPU, накопителей, Infiniband и DPU адаптеров остаётся за производителями (Supermicro, Dell, HPE, Lenovo и др.), что позволяет создавать решения заводской сборки с оптимальной производительностью и нужными характеристиками.
• История развития: Платформа появилась в 2018 году с HGX-2 на базе Tesla V100 и с тех пор претерпела эволюцию вплоть до HGX B300 с GPU поколения Blackwell.