開発・モデル基盤
vLLM v0.31.0を公開
原題: v0.31.0
高速再起動と投機的デコードを拡張
vLLMプロジェクトは2026年10月5日15時44分頃（日本時間）、v0.31.0を正式公開しました。
新しいvllm preloadコマンドは、量子化・分割後のウェイトをGPUメモリに保持し、エンジン再起動時の再読み込みを減らします。
データ並列、MTPドラフトモデル、ヘルスチェック、準備完了待機にも対応し、初期化済みエンジンをCRIUで復元する実験的スナップショット機能も追加しました。
Model Runner V2ではドラフトモデルによる投機的デコードとカスタムlogits processorを追加し、Kimi K3の可変長デコードなど複数方式を拡張しています。
大規模配備向けにはMoonEPのall-to-allバックエンド、データ並列を組み合わせたprefill context parallelism、KVオフロードのバックプレッシャー検出を追加しました。
モデル対応、セキュリティ、互換性を更新
DeepSeek-V4.1-Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Kimi K3、MiniMax-M3などの推論経路と量子化対応を更新しました。
DiffusionGemmaの構造化生成、MiMo V2のMXFP4 MoE、Granite 4.2のthinking parserなど、新しいモデル機能も追加しています。
セキュリティ面では、リクエスト単位のマルチモーダル処理オプションを既定で拒否し、明示的に許可したサーバーだけが受け付けるように変更しました。
LoRA名とキャッシュ用saltの衝突を防ぐキー分離、LoRAパスのブロックハッシュ組み込み、受信キャッシュの古いデータによる置換防止も含まれます。
tokenizer_mode="slow"の削除、FP8オンライン量子化指定の変更、AllSpark INT8バックエンドの削除など、更新時に確認が必要な破壊的変更があります。
PyPI、CUDA 12.9・13.0、ROCm、CPU、XPU向けのwheelとDockerイメージが正式版として公開されています。
個別の高速化倍率や性能改善はvLLMプロジェクトの報告であり、利用するモデル、GPU、並列構成で結果は変わります。