モデル・開発

PixelUMM：エンコーダーを使わず画像・動画の理解と生成を統合

原題: PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation

重要非商用研究15.2B

画像と動画を画素空間で扱う統合モデル

NVIDIAは2026年10月2日、統合マルチモーダルモデル「PixelUMM」のモデルカード、チェックポイント、コードを公開しました。

PixelUMMは、別の事前学習済み視覚エンコーダーを使わず、画像を16×16画素のパッチとしてTransformerへ入力します。

理解と生成で同じ表現を共有し、テキスト、画像、動画を画素空間で扱います。

テキストからの画像生成、画像を条件にしたテキスト生成、動画の理解、動画生成に対応します。

構成は生の画素パッチ埋め込みと反復型の画素生成ヘッドを備えるdecoder-only Transformerです。

言語バックボーンにはQwen3-8Bを使い、総パラメータ数は15,199,672,064です。

画像と動画の生成には反復的なデノイジングを利用します。

実行にはLinux、NVIDIA GPU、CUDA版PyTorch、FlashAttentionが必要です。

モデルは本番環境や高リスク用途向けには検証されておらず、研究者と開発者による評価を想定しています。

ソースコードはApache 2.0ですが、モデルのチェックポイントはNVIDIA One-Way Noncommercial Licenseです。

そのため、公開済みチェックポイントの利用は非商用の研究または評価に限られます。