モデル・研究

NVIDIAが単眼動画から全身動作を復元するGEM-Xを公開

原題: GEM-X: Generalizable Full-Body Motion Reconstruction from Monocular Videos

重要weights公開46.8M parameters

動くcameraの映像から手を含む77関節と移動軌跡を推定

NVIDIAは2026年10月30日、単眼動画から全身動作を復元するGEM-Xのmodel weightsとcodeを公開しました。

46.8M parameterのtemporal Transformerが、1台のcamera映像から人の動作を時系列で推定します。

bodyと両手を含む77関節を復元し、world space上の移動軌跡も出力します。

固定cameraだけでなく、camera自体が動く映像を対象にした設計です。

Hugging Faceではbody pose用とbody motion用のweightsを公開しています。

model cardは入力動画から3D full-body motionとglobal trajectoryを再構成する用途を示しています。

codeはApache License 2.0、model weightsはNVIDIA Open Model Licenseで配布されています。

model repositoryはgatedではなく、Hugging Faceから公開状態で取得できます。

映像制作、avatar、robotics向けのmotion captureを専用の複数camera設備なしで試せます。

NVIDIAの性能値は提供元の主張であり、独立した実環境評価とは分けて判断する必要があります。