GPU de várias instâncias (MIG)

O que é GPU de várias instâncias

A GPU Multi-Instância (MIG) é uma tecnologia da NVIDIA introduzida pela primeira vez com a arquitetura Ampere e disponível nas gerações subsequentes de GPUs (incluindo Hopper e Blackwell). Ela permite que uma única GPU física seja particionada em até sete instâncias de GPU virtuais totalmente isoladas e independentes, cada uma com sua própria memória dedicada, núcleos de unidade de processamento e memória cache. Isso otimiza os custos e oferece qualidade e serviço previsível para diferentes usuários e tarefas em ambientes de computação dimensionáveis.

Principais recursos e benefícios do MIG:

• Isolamento de recursos: Cada instância tem seus próprios recursos dedicados - núcleos de computação e memória de GPU. Isso proporciona desempenho previsível e proteção contra a influência de instâncias vizinhas, o que é especialmente importante para ambientes multilocatários, como nuvens.
• Otimize a utilização da GPU: As cargas de trabalho que não usam todo o potencial de uma única GPU podem ser executadas em paralelo em instâncias diferentes, melhorando a utilização geral da GPU e reduzindo a latência para os usuários. Por exemplo, você pode criar instâncias com diferentes quantidades de memória alocada, variando de 10 GB ou mais, para diferentes cargas de trabalho.
• Suporte à virtualização e à conteinerização: O MIG é compatível com Linux, Docker, Kubernetes e também é compatível com hipervisores (Red Hat Virtualization, VMware vSphere) para uso em máquinas virtuais e contêineres. Ele pode ser usado em configurações bare-metal, GPU pass-through e vGPU.
• Garantia de qualidade de serviço (QoS): Cada instância tem largura de banda de memória e recursos de computação dedicados, o que ajuda a garantir tempos de resposta previsíveis para determinados aplicativos e evita que cargas pesadas afetem o desempenho de outros.
• Limitações: O MIG não oferece suporte à comunicação entre processos (IPC) CUDA, o que limita o desempenho ideal em várias instâncias do mesmo aplicativo.
• Não há suporte para o uso de APIs gráficas (OpenGL, Vulkan etc.), e as tarefas que exigem um número muito alto de núcleos de CPU podem exigir uma GPU completa sem particionamento.
• Gerenciamento: As instâncias de MIG são gerenciadas por meio da NVIDIA Management Library (NVML) e da linha de comando (nvidia-smi). A ativação da MIG requer a reinicialização da GPU, e várias GPUs exigem a interrupção dos serviços de gerenciamento da GPU antes da ativação.
  

Exemplos de uso:

• Execução de várias tarefas de inferência de IA simultaneamente em uma única GPU.
• Suporte para sistemas de vários locatários e vários contêineres em data centers.
• Implantação eficiente de tarefas de IA e HPC de pequeno e médio porte sem a necessidade de dedicar toda a GPU.