モデル・開発
K2-Horizon-375B-A23B
原題: K2-Horizon-375B-A23B
K2-Horizonの最上位モデルを公開
Institute of Foundation Modelsは9月2日、K2-Horizonモデル群のウェイトとモデルカードをHugging Faceで公開しました。
最上位のK2-Horizon-375B-A23Bは、総パラメータ数3750億、1トークン当たりの活性パラメータ数230億のMixture-of-Expertsモデルです。
ネイティブのコンテキスト長は524,288トークンです。
最終チェックポイントをApache License 2.0で取得できます。
Transformers、vLLM、SGLangを使ったローカルまたは自社環境での配備手順が示されています。
API互換サーバーとして起動し、OpenAI互換クライアントから呼び出す例も掲載されています。
同じファミリーには36B-A4BのMoVAモデルと、32B、7B、3.7B、0.9Bの高密度モデルがあります。
7Bと3.7Bは学習データ、レシピ、学習コード、評価資源を公開済みです。
375B、36B、32B、0.9Bについては、学習データやコードなどの追加公開が今後予定されています。
32Bのモデルカードは公開時点のチェックポイントをStage 1とし、最終チェックポイントは今後公開すると記載しています。
Institute of Foundation Modelsはエージェント、ツール利用、長時間ワークフローの評価結果を示していますが、比較値の多くは提供元の評価です。
今回の提供状態は、少なくとも各モデルの公開済みチェックポイントを取得して実行できるオープンウェイト公開です。