開発・モデル

vLLM v0.30.0を公開

原題: v0.30.0

重要正式版推論基盤

新モデルと推論機能を追加

vLLMプロジェクトは2026年9月22日14時20分頃(日本時間)、v0.30.0を公開しました。

DeepSeek-V4.1-Flash、DeepSeek-V4-Flash-Vision-Exp、GLM-5.3-Flash、K2-Horizon、Cohere Compass、Bailing V3 VL、Nanbeige4.2を新たにサポートします。

DeepSeek V4向けのCPUバックエンドも追加されました。

Qwen3.8-Flash-NextとKimi K3では、疎な注意機構、キャッシュ、推論カーネルなどの性能経路を更新しました。

GPUメモリへ量子化済み・分割済みウェイトを保持するFast Startを追加し、再起動時にCUDA IPCから読み込めます。

Gumbel-max方式による透かし付き生成と検出、リクエスト単位の無効化、検出エンドポイントの例を追加しました。

配布物と互換性の変更

PyPI、Docker、CUDA、ROCm、CPU、XPU向けの正式版配布物が用意されています。

CUDA 13.0が標準となり、CUDA 12.9とUbuntu 24.04向けイメージも選択できます。

大規模配備では、疎なMLA向けホストメモリ層、複数GPU・複数ノードのキャッシュ共有、分散処理機能を拡張しました。

通常のvLLMサーバーではスケールアウト用エンドポイントが既定で無効になり、明示的なオプションが必要です。

GPTQのactivation ordering、v0.29で非推奨になった一部環境変数などが削除されています。

リリースは762コミットと315人の貢献者を含む正式版であり、利用者はモデル対応だけでなく破壊的変更も確認する必要があります。

原文

← 日次まとめへ戻る