AWS Machine Learning Blog· Shantanu Tripathi·· há 8 diasSeleçãoNota da IA60
SageMaker Inference passa a oferecer particionamento de GPU com Multi-Instance GPU
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI Panorama
O Amazon SageMaker Inference passou a oferecer particionamento de GPU com NVIDIA Multi-Instance GPU (MIG), dividindo um acelerador em partições isoladas por hardware, com até sete por GPU.
Por que ler
O texto detalha como o particionamento MIG no SageMaker Inference divide uma GPU em até sete partições isoladas por hardware e compara uma fração de H100 com uma A100 inteira em custo e latência.
Fonte:AWS Machine Learning Blog · aws.amazon.com