モデル・音声
AuK：音声生成と編集のオープンソース基盤モデル
原題: AuK: An Open-Source Foundational Model for Speech Generation and Editing
音声の生成と編集を一つのモデルで扱う
Tencentは9月9日、音声生成・編集モデル「AuK」のコードとモデルウェイトを公開しました。
AuKは15億パラメータの基盤モデルで、自然言語の指示を共通の入口として複数の音声タスクを扱います。
参照音声から声を再現するゼロショット音声合成と、声の説明だけを使う指示ベースの音声合成に対応します。
発話内容の置換・挿入・削除に加え、歌声のメロディーと声を保った歌詞編集も対象です。
音程、速度、音量、感情、声色、訛り、ささやき、息や笑いなどの非言語音も指示で編集できます。
ノイズ除去、残響除去、音声分離、歌声分離、対象話者の抽出も同じインターフェースへまとめています。
高品質生成向けのAuKと、4ステップ推論向けに蒸留したAuK-Flashの2種類を公開しました。
両ウェイトはHugging FaceとModelScopeから取得でき、推論・学習用コードとCookbookもGitHubで公開されています。
ライセンスはMITです。実行時には別配布のQwen2.5-Omni-3BエンコーダーとVAEも読み込みます。
モデルカードの性能値はTencentによる評価であり、独立評価ではありません。