モデル
Youtu-Parsing-Omni：1つのエンコーダ、1つのスキーマ、すべてのモダリティ
原題: Youtu-Parsing-Omni: One Encoder, One Schema, Every Modality
文書・画像・音声・動画を同じ形式で解析
Tencentは2026年10月9日、Youtu-Parsing-Omniのモデルウェイト、vLLMプラグイン、推論例を公開しました。
Youtu-Parsing-Omniは、50億パラメータのマルチモーダル解析モデルです。
文書、一般画像、図表、幾何図形、音声、動画を入力として扱います。
解析結果は、モダリティに共通するOmniSchema形式の構造化JSONとして出力します。
画像・音声・動画の知覚処理には、1つのYoutu-Omni-Encoderを利用します。
動画ではフレームと音声トラックを同時に入力し、知覚段階で音声と映像を融合します。
モデルカードは、文書レイアウト、表、化学構造、楽譜などの解析結果を掲載しています。
OmniDocBench v1.6やOmniParsingBenchの数値はTencentによる評価であり、独立評価ではありません。
モデルウェイトはHugging Faceから取得できますが、ライセンスはApache 2.0ではなく専用のYoutu-Parsing Licenseです。
評価コードは今後公開予定とされており、今回の実配布範囲には含まれていません。