Multi-Instance GPU (MIG)

Что такое Multi-Instance GPU

Multi-Instance GPU (MIG) — это технология NVIDIA, впервые представленная с архитектурой Ampere и доступная в последующих поколениях GPU (включая Hopper и Blackwell). Она позволяет разделить один физический GPU на до семи полностью изолированных и независимых виртуальных GPU-инстансов (GPU Instances), каждый со своей выделенной памятью, ядрами вычислительных блоков и кэш-памятью. Это оптимизирует расходы и обеспечит качественный и предсказуемый сервис для разных пользователей и задач в масштабируемых вычислительных средах.

Основные особенности и преимущества MIG:

• Изоляция ресурсов: Каждый инстанс имеет собственные выделенные ресурсы — вычислительные ядра и GPU память. Это обеспечивает предсказуемую производительность и защиту от влияния соседних инстансов, что особенно важно для многопользовательских сред, например, в облаках.
• Оптимизация загрузки GPU: Рабочие нагрузки, не использующие полный потенциал одной GPU, могут запускаться параллельно на разных инстансах, что повышает общую эффективность использования GPU и снижает время ожидания для пользователей. Например, можно создавать инстансы с разным объемом выделенной памяти, варьируя от 10 ГБ и более, под разную нагрузку.
• Поддержка виртуализации и контейнеризации: MIG совместим с Linux, Docker, Kubernetes, а также поддерживается гипервизорами (Red Hat Virtualization, VMware vSphere) для использования в виртуальных машинах и контейнерах. Может использоваться в конфигурациях «bare-metal», GPU pass-through и с vGPU.
• Гарантия качества обслуживания (QoS): Каждый инстанс имеет выделенную пропускную способность памяти и вычислительные ресурсы, что помогает обеспечить прогнозируемое время отклика для заданных приложений и не позволяет тяжелым нагрузкам влиять на работу других.
• Ограничения: MIG не поддерживает CUDA Inter-Process Communication (IPC), из-за чего оптимальная работа на нескольких инстансах одного и того же приложения ограничена. 
• Использование графических API (OpenGL, Vulkan и др.) не поддерживается, а также задачи, требующие очень высокого числа CPU-ядер, могут потребовать полного GPU без разбиения.
• Управление: MIG-инстансами управляют через NVIDIA Management Library (NVML) и командную строку (nvidia-smi). Включение MIG требует перезагрузки GPU, а для работы с несколькими GPU нужно остановить службы управления GPU перед включением.
   

Примеры использования:

• Запуск нескольких ИИ-инференс задач одновременно на одном GPU.
• Поддержка многопользовательских и многоконтейнерных систем в дата-центрах.
• Эффективное развертывание небольших и средних ИИ- и HPC-задач без необходимости выделять весь GPU.