モデル・開発
NVIDIA Nemotron Labs Dory 1.0 4B BF16
原題: NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16
反復回数で推論計算量を変えられる4Bモデル
NVIDIAは2026年10月17日、NVIDIA Nemotron Labs Dory 1.0 4B BF16のモデルウェイトをHugging Faceで公開しました。
Dory 1.0は40億パラメーターの英語向けテキスト生成モデルで、最大25万6,000トークンのコンテキストを扱います。
同じ再帰ブロックを繰り返し適用するlatent-recurrent構成を採用し、チェックポイントを交換したり再学習したりせず、反復回数で1トークン当たりの計算量と精度のバランスを変えられます。
反復回数を増やしてもKVキャッシュを1回分に保つlast-loop KV cachingを備え、長いコンテキストや同時実行へメモリーを回せます。
BF16版に加え、MXFP8、NVFP4、Q5_K_Mの形式も公開されています。事前学習はNVFP4で行われ、その後BF16で継続学習されています。
OpenMDW 1.1ライセンスが適用され、NVIDIAは商用・非商用の利用に対応すると説明しています。
vLLMでのDory対応は公開時点ではレビュー中で、モデルカードは対応プルリクエストからの導入手順を案内しています。
llama.cppも対応プルリクエストの特定リビジョンを使う手順が示され、通常リリースへまだ含まれていない点に注意が必要です。
NVIDIAは反復回数を増やした場合のSWE-bench Verifiedや推論評価の改善を掲載していますが、これらはNVIDIA自身の評価であり、独立評価ではありません。
小規模な1つのウェイトから、用途に応じて推論時の計算量を調整できる新しいオープンウェイト提供です。