開発・AI基盤
NVIDIA Megatron Core 0.20.0を公開
原題: NVIDIA Megatron Core 0.20.0
大規模MoEとmultimodal基盤を拡張
NVIDIAは2026年10月30日6時06分頃（日本時間）、Megatron Core 0.20.0を正式公開しました。
次世代HybridModelでDeepSeek V4を全面的に扱えるようにし、GDP layerとwide residual streamも追加しました。
Megatron-FSDP v2 adapterはcontext、expert、pipeline、hybrid data parallel shardingを実験対応します。
Generalized Tensor Parallelismはbatchとsequenceの分割を構成でき、MTPにも対応します。
DeepEP v2 dispatcher、NCCL expert parallelのMXFP8通信、ShortcutMoEを追加しました。
推論ではprefillとdecodeの分離、KV cache転送、prefix cache、speculative decodingを拡張しました。
dynamic inference engineは画像と動画を扱い、vision embedding cacheとmedia-aware routingを利用できます。
学習のtraceとmetricをOpenTelemetryへ出す機能、weighted checkpoint mergingも追加しました。
一部のFSDP v2、DeepEP v2、MXFP8機能には実験扱いや構成制限があります。
GitHub Release APIでdraft=false、prerelease=falseの正式版です。