モデル・開発

SAS：文脈ランキングのエンドツーエンド最適化によるシンプルなアテンション疎化

原題: SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

重要コード・重み公開Tencent

Qwen3向けのゲート重みと実行系を公開

Tencentは9月14日、疎なアテンション機構「SAS」の学習・評価コードとゲート重みを公開しました。

SASは問い合わせごとに参照するKVブロックを順位付けし、選択する仕組みです。

選択したブロックへ連続的なゲートを加え、言語モデルの損失から文脈ランキングをエンドツーエンドで最適化します。

Qwen3-4B、Qwen3-8B、Qwen3-14B向けの学習レシピをGitHubで公開しています。

Hugging Faceでは、3モデル向けのゲートルーター重みを64〜81MiBのパッケージとして配布しています。

配布物は単体で動く言語モデルではなく、対応するQwen3本体を別に用意する必要があります。

推論にはTencent側が公開するSGLangフォークのseer_attnバックエンドを使用します。

実行するとOpenAI互換APIとしてモデルを提供でき、既定の疎なデコード予算は2,048トークンです。

MATH、GPQA-Diamond、AIME、LongBench-E、BFCL、VitaBench向けの評価ラッパーも含まれます。

学習は8基のNVIDIA H20で実行可能と説明されています。これはTencentによる必要資源の説明で、独立評価ではありません。

GitHubリポジトリとHugging Faceのモデルカードには、確認時点で明示的なライセンス表示がありません。

そのためコードや重みを再利用・再配布する場合は、提供元が利用条件を明示するまで条件を個別に確認する必要があります。