開発

vLLM・SGLangのnative TPU backendを公開

原題: Announcing New vLLM and SGLang Inference Engines on TPU

重要オープンソース

PyTorchのままTPU推論を構築

Googleは2026年10月20日、vLLMとSGLangの新しいTPU inference engineを公開しました。

両engineはTorchTPUを使うnative PyTorch backendです。

vLLMはInferact、SGLangはRadixArkとの共同開発です。

tool calling、structured output、automatic prefix caching、KV cache offloadを扱います。

MTP、EAGLE-3、DFlash、DSparkなどのspeculative decodingを含みます。

image・video入力、embedding model、long context、disaggregated servingにも対応します。

Qwen、DeepSeek、GLM、Kimi、GPT-OSS、Gemma4などのmodel familyを対象にしています。

TPU Syncを使い、host memoryやManaged LustreとのKV cache転送を行います。

vLLM-TorchTPU、SGLang-TorchTPU、TorchTPUはGitHubから利用できます。

benchmark値はGoogleとpartnerによる測定であり、独立評価ではありません。