開発・企業向け
SageMakerのLLM推論にルーティングとモデルキャッシュを追加
共有プロンプトのKVキャッシュを再利用しやすくし、大規模モデルの起動待ちも短縮します。
同じ接頭辞を同じインスタンスへ送る
AWSは9月10日、Amazon SageMaker Inferenceにprefix-aware routingを追加しました。Asia/Tokyoでは9月11日に公式フィードで確認できた提供開始です。
共通の指示、文書、会話履歴など、同じ接頭辞を持つリクエストを同じインスタンスへ送ります。vLLMなどのprefix cachingと組み合わせ、KVキャッシュを再利用しやすくします。
実時間エンドポイントで利用でき、既存のInvoke APIとOpenAI互換Chat Completions APIを維持したまま、エンドポイント設定のRoutingStrategyをPREFIX_AWAREへ変更します。
過負荷時は別インスタンスへ退避し、テナント分離用ID、Inference Components、LoRAアダプターにも対応します。
AWSのLlama 3.1 70Bによる自社ベンチマークでは、長い共通接頭辞でP50の最初のトークンまでの時間を最大77%短縮しました。独立評価ではありません。
HyperPodは重みとコンテナを事前配置
SageMaker HyperPod Inferenceでは、モデルウェイトと推論用コンテナイメージをノードのローカルNVMeへ事前配置するmodel cachingを一般提供しました。
Amazon S3、FSx for Lustre、Hugging Face Hub、SageMaker JumpStartからの重みをキャッシュでき、イメージキャッシュと個別に有効化できます。キャッシュのないノードへ配置された場合は従来のダウンロードへフォールバックします。
HyperPodを提供する全リージョンが対象です。AWSは、モデル起動を数十分から数秒へ短縮できると説明していますが、初回キャッシュ作成時間とノードごとのNVMe容量は必要です。