モデル・開発
VibeVoice-ASR-Streamingの1.5B・7Bモデルを公開
原題: VibeVoice-ASR-Streaming-7B / VibeVoice-ASR-Streaming-1.5B
話者付きのストリーミング文字起こしに対応
Microsoft Researchは9月2日、VibeVoice-ASR-Streamingの1.5B版と7B版を公開しました。
音声が届く間に、誰が何を話したかを継続的に文字起こしするストリーミングASRモデルです。
話者の識別結果と発話内容を一つのモデルから出力します。
人名や専門用語などのカスタムホットワードを指定できます。
中国語、英語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語に対応します。
1.5B版の配布ファイルはHugging Face上で約3Bパラメータ、7B版は約9Bパラメータと表示されています。
両モデルのBF16チェックポイントをSafetensors形式で取得できます。
Transformersの音声認識パイプラインから読み込めます。
モデルとコードはMITライセンスで公開されています。
Hugging Face上の推論プロバイダーには現時点で配備されておらず、モデルを取得して実行する形です。
評価結果はMicrosoft Researchの技術報告に基づきます。