モデル・開発

NVIDIA Kimi-K3.1-Pro-NVFP4

原題: NVIDIA Kimi-K3.1-Pro NVFP4

重要量子化ウェイト公開NVIDIA Open Model Agreement

Blackwell向けNVFP4 checkpointを配布

NVIDIAはKimi K3.1 ProをNVFP4へ量子化したmodel weightsをHugging Faceで公開しました。

repositoryは11月11日09時57分頃（日本時間）に作成され、同日13時13分頃までに96分割のsafetensorsが追加されました。

checkpointのsafetensorsは合計約1.5TBで、公開repositoryから取得できます。

商用・非商用で利用できますが、配布条件はNVIDIA Open Model Agreementとbase modelのKimi K3.1 Pro Licenseに従います。

modelは総2.8兆parameter、稼働1,040億parameter、100万token contextのmultimodal MoEです。

入力はtextとimage、出力はtextで、Linux上のNVIDIA BlackwellとvLLMを対象にしています。

routed expert weightsはMXFP4からNVFP4へ変換し、shared expertとKDA attentionはMXFP8、MLA layerはBF16を使用します。

vLLMの専用containerとOpenAI互換serverを使う実行例がmodel cardに掲載されています。

NVIDIAは推論benchmarkとKimi Vendor Verifierの比較値を掲載しています。

これらの性能値はNVIDIA自身の量子化checkpoint評価で、独立評価ではありません。

Moonshot AIが11月2日に公開したbase modelのMXFP4 weightsとは別に、NVIDIA Blackwell向けの量子化配布形式が追加された更新です。