モデル・開発
Qwen3Guard-StreamのKVキャッシュ再利用を修正
原題: Fix KV cache reuse in streaming moderation
0.6B・4B・8Bのストリーミング判定実装を更新
Qwenは9月27日、Qwen3Guard-Streamのストリーミングモデレーション実装でKVキャッシュの再利用を修正しました。
同じ修正を0.6B、4B、8Bの3サイズの公式Hugging Faceリポジトリへ適用しています。
最初の処理ではプロンプト全体を入力し、以降は新しい1トークンだけを既存のキャッシュとともに処理する実装へ変更しました。
従来はトークン追加のたびに入力列と因果マスクを拡張していました。
更新後はTransformersのDynamicCacheを明示的に作成し、use_cacheを有効にします。
Transformers 4.55系で、未対応の設定値がキャッシュ層へ渡る問題を避ける処理も含みます。
初回入力が空または1次元でない場合と、後続入力が1トークンでない場合はエラーにします。
話者種別はuserまたはassistantだけを受け付けるよう検証を追加しました。
安全度とカテゴリの確率計算も、新しい出力形状に合わせて更新しています。
今回の変更は新しいモデルウェイトの公開ではなく、既存モデルリポジトリの推論コード修正です。
3モデルはApache 2.0ライセンスで公開され、119の言語・方言とSafe、Controversial、Unsafeの3段階判定に対応します。
性能改善値や判定精度の変更は、今回のコミットでは公表されていません。