開発

TorchTitanのTPU対応を公開

原題: Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

重要オープンソース

native PyTorchで大規模TPU学習

Googleは2026年10月20日、TorchTPUを統合したTorchTitanのTPU対応を公開しました。

TorchTitan TPUはMetaのTorchTitanをGoogle Cloud TPU向けに調整したforkです。

torch.device("tpu")を使い、PyTorchのmodel definitionを大きく書き換えずに実行できます。

SimpleFSDP、Graph Trainer、host offload、Pallas kernelを構成optionとして提供します。

Llama 3、Qwen 3、FLUX向けのpre-trainingとpost-training recipeを含みます。

Transformers modeling backendは500超のHugging Face modelを同じtrainerから起動できます。

coding agent向けのmodel-onboarding skillもrepositoryに含まれます。

GoogleはLlama 3 405B、Qwen3 235Bなどのscale test結果を公開しました。

performance値はGoogleの検証結果であり、独立評価ではありません。

codeとrecipeはGoogleのGitHub repositoryから利用できます。