開発・モデル基盤
vLLM 0.28.0を公開
原題: v0.28.0
Kimi K3とDeepSeek V4の推論基盤を更新
vLLMプロジェクトは2026年8月26日、正式版v0.28.0をGitHub Releasesで公開しました。
この版は270人による584件のコミットを含み、Kimi K3の推論処理をモデル実行、通信、カーネルの各層で最適化しています。
共有エキスパートを分割する設定ではGPUあたり約17GiBのメモリを削減し、推測デコードの調整では最初のトークンまでの時間を約60%改善したと説明しています。
Kimi K3はROCmのModel Runner V2でも動作するようになりました。
DeepSeek V4では、通常デコード、MTP、DSpark推測デコードを通したsparse MLA対応を追加しました。
AMD Quark NVFP4、推論強度の指定、ROCmのgfx11とgfx950もDeepSeek V4向けに対応します。
Qwen3.8はAMD ROCmで利用可能になり、Muse Glimmer、Ling 3.0 Flash、Dots3 NOTE、Interns2mobiusも新規モデルとして追加されました。
配備機能と互換性の変更
KVキャッシュはCPUに加えてディスクへ退避でき、外部実装の二次階層マネージャーにも対応しました。
Rustフロントエンドでは独立レンダラー、gRPCによるマルチモーダル画像推論、データ並列ランク指定、強化学習のライフサイクル制御を追加しています。
Python wheel、CUDA・ROCm・CPU・XPU向けDockerイメージ、macOSを含む事前ビルド成果物が公開されています。
一方、bitsandbytesは外部プラグインへ移され、Transformersは5.15.0へ更新されました。
非推奨だったcalculate_kv_scalesとoverride_attention_dtypeは削除され、reasoning_content出力の削除も破壊的変更として記載されています。
性能値はvLLMプロジェクトが個別の変更について報告した値であり、このリリース全体を同一条件で比較した独立評価ではありません。