NVIDIA Enterprise Reference Architecture (Enterprise RA)

Что такое NVIDIA Enterprise RA

NVIDIA Enterprise Reference Architecture (Enterprise RA) — это всеобъемлющий набор проверенных рекомендаций и и лучших практик, предназначенный для создания масштабируемой, производительной и безопасной инфраструктуры для корпоративных AI-решений. Он охватывает аппаратную и программную часть, а также оптимальные конфигурации серверов, кластеров и сетей для современных AI бизнес-задач.

Назначение:

• Уменьшить сложность при проектировании и развертывании инфраструктуры центров обработки данных.
• Enterprise RA предоставляет проверенные и всеобъемлющие рекомендации по дизайну для масштабного развертывания систем, таких как H200 NVL.
• Enterprise RA помогает ускорить время выхода на рынок для партнеров и заказчиков,, создающих решения для центров обработки данных

Состав

• В основе каждой Enterprise RA лежит оптимизированный сервер, сертифицированный NVIDIA System, который следует предписанному шаблону проектирования для обеспечения оптимальной производительности при развертывании в кластерной среде.
• Существуют различные типы серверных конфигураций, для которых разработаны Enterprise RA, включая PCIe Optimized 2-4-3, PCIe Optimized 2-8-5 и системы HGX. Числовые обозначения, например в "2-8-5", указывают количество сокетов (процессоров), количество графических процессоров (GPU) и количество сетевых адаптеров соответственно.
• Например, Enterprise RA для H200 NVL использует эталонную конфигурацию PCIe Optimized 2-8-5. Эта конфигурация уменьшает задержку, снижает нагрузку на центральный процессор и увеличивает пропускную способность сети для операций в реальном времени, что критически важно для эффективной обработки данных.

Интеграция технологий NVIDIA

• Enterprise RA включают в себя рекомендации по использованию платформы NVIDIA Spectrum-X Ethernet для максимизации производительности при развертывании ИИ систем в кластерной среде. В её состав входят коммутаторы Spectrum-4 и сетевые адаптеры SuperNIC BlueField-3.
• Для обеспечения пиковой производительности сети Enterprise RA рекомендует выделенный BlueField-3 SuperNIC с подключением 400 Гбит/с на каждые два GPU H200 NVL в кластере.
• Также Enterprise RA для H200 NVL использует библиотеку NVIDIA Collective Communications Library (NCCL) для обеспечения эффективной связи с низкой задержкой и масштабируемости для рабочих нагрузок, требующих эффективной связи между несколькими GPU.

Применение: 

• Подходит для корпоративных центров обработки данных, облаков, передачи данных в реальном времени, решений с автономным управлением и анализа больших данных, а также для построения AI фабрик, ориентированных на генеративный AI и большие языковые модели (LLM).
• Dell Technologies реализует Enterprise RA в своих кластерах на базе серверов PowerEdge (например, R760xa с конфигурацией 2-4-3 и XE9680 с 2-8-9), что демонстрирует промышленное применение архитектуры.
• Программный стек: Работает на базе NVIDIA AI Enterprise, включающего драйверы, инструменты управления GPU в Kubernetes (GPU Operator), сеть (Network Operator), микросервисы AI (NeMo, NIM) и управление инфраструктурой (Base Command Manager).