開発・企業向け
Amazon SageMaker AIのreal-time endpointでGPU分割を提供
原題: Amazon SageMaker AI inference now supports GPU partitioning for real-time endpoints
1台のGPUで複数modelを分離実行
AWSは2026年10月30日17時頃（日本時間）、Amazon SageMaker AI inferenceのreal-time endpointでGPU partitioningを提供開始しました。
NVIDIA Multi-Instance GPU（MIG）を使い、1台のGPUを最大7つの独立partitionへ分割できます。
各partitionは独自のmemoryとcomputeを持ちます。
fine-tuned model、embedding model、reranker、classifierなど、比較的小さいmodelを1台のGPUへ複数配置できます。
利用者はendpointを作成する際にGPUの分割方法を指定し、各modelを必要なsizeのpartitionへ配置します。
hardware enforced isolationにより、1つのmodelの負荷が隣接modelのmemoryまたはthroughputを奪わない構成です。
modelごとにGPU全体を割り当てる必要がなくなり、使用しないcapacityへの支出を抑えられます。
application側は引き続きmodel名で呼び出せるため、既存のinvoke codeを変更する必要はありません。
対象instanceはP4d、P5、G7、G7eです。
提供regionにはAsia Pacific（Singapore、Tokyo）、米国3region、Europe（Frankfurt、Ireland）が含まれます。