開発

Amazon SageMaker HyperPod Inference Gatewayを提供開始

GPUと推論の状態を見て、複数モデルへのリクエストを適切なPodへ振り分けます。

重要提供開始AWS

発表内容

AWSは9月24日、Amazon SageMaker HyperPod Inference Gatewayの提供開始を発表しました。

既存のSageMaker HyperPod環境へ、単一のEKS管理アドオンとして導入します。

リクエスト本文のモデル名を読み、1つのエンドポイントから複数モデルへ振り分けます。

KVキャッシュ利用率、待ち行列、LoRAアダプター、prefix cache、予測遅延、実行中リクエストを基にPodを選びます。

vLLM、SGLangなどOpenAI互換のモデルサーバーに対応し、アプリケーションコードの変更は不要です。

Kubernetes Gateway APIとInference Extensionを使い、設定はInferenceGatewayConfigで宣言します。

クラスタ単位のルーティングは、HyperPod inference add-onの対応リージョンで利用できます。

AWSは自社試験で初回トークンまでの時間を最大82%短縮したと説明しています。

この性能値はAWS自身の評価であり、独立評価ではありません。

クラスタ・リージョン横断ルーティング、カナリア配信、優先度制御は今後の予定です。