モデル・開発
Olmo-core 3：大規模MoE向けのオープンでスケーラブルな学習基盤
原題: Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
MoE学習基盤を1兆パラメータ超へ拡張
Ai2は2026年10月2日0時1分頃（日本時間）、大規模言語モデルの学習基盤「Olmo-core 3」を公開しました。
GitHubのv3.0.0とPythonパッケージを利用でき、ソースコードはApache 2.0ライセンスです。
今回の更新は、Mixture-of-Experts（MoE）モデルの学習処理を再設計したものです。
従来のFSDP中心の実装から、専門家をGPU上に保持して入力を振り分ける分散データ並列方式へ移行しました。
Expert parallelism、Pipeline parallelism、分散オプティマイザーを組み合わせ、モデルと学習状態を複数GPUへ分割します。
GPU上のルーティング、rowwise expert parallelism、grouped GEMM、MXFP8にも対応します。
Ai2は128専門家、総47Bパラメータの構成で、従来実装に対して約2.7倍の学習スループットを測定したと説明しています。
1.2兆パラメータのモデルを512基のNVIDIA B300 GPUで検証し、2.38兆パラメータ構成の短時間試験も実施しました。
これらの性能値はAi2自身の測定で、独立した第三者評価ではありません。
開発者と研究者は、自身のMoE学習、異なるハードウェアへの移植、ルーティングや並列化の実験に利用できます。
次世代Olmoモデルはこの基盤を使う予定ですが、モデル本体のウェイトや一般提供日は今回の発表に含まれません。