NVIDIA HGX

O que é NVIDIA HGX

O NVIDIA HGX é uma plataforma de servidor especializada da NVIDIA projetada para computação de alto desempenho (HPC), inteligência artificial (AI), aprendizagem profunda e computação em nuvem. É um módulo de hardware avançado com várias (até 8) GPUs NVIDIA conectadas por links NVLink de alta velocidade via NVSwitch para treinar com eficiência modelos de linguagem grandes (LLMs).

Principais recursos e características do NVIDIA HGX:

• Configuração da GPU: Até 8 GPUs NVIDIA são padrão, variando desde a A100 com 80 GB de memória HBM2 por GPU nas versões básicas até a H100/H200 nas gerações atuais.
• Alto desempenho: Com as arquiteturas Ampere, Hopper e Blackwell, o HGX proporciona ganhos significativos de eficiência - em particular, os servidores HGX H200 podem acelerar o treinamento dos modelos Transformer (GPT, BERT e outros) até dez vezes mais rápido do que as gerações anteriores.
• Interconexões: Utilize o NVLink e o NVSwitch para interconectar GPUs em um único cluster de computação com latência muito baixa e alta taxa de transferência (por exemplo, até 900 GB/s para GPUs H100), o que é essencial para o aprendizado distribuído e soluções de nuvem dimensionáveis.
• Flexibilidade e personalização: A plataforma HGX é fornecida pela NVIDIA como módulos de GPU (placas monolíticas com até 8 GPUs), enquanto a escolha de CPUs, armazenamento, Infiniband e adaptadores de DPU fica a cargo dos fornecedores (Supermicro, Dell, HPE, Lenovo, etc.), permitindo que você crie soluções de fábrica com o desempenho e os recursos ideais de que precisa.
• Histórico de desenvolvimento: A plataforma surgiu em 2018 com o HGX-2 baseado no Tesla V100 e, desde então, evoluiu até o HGX B300 com a GPU da geração Blackwell.