モデル・開発
Solarisの紹介
原題: Introducing Solaris
画面と操作結果をリアルタイム生成
Runwayは8月31日、新しいAIシステム群「Interface World Models」の最初のモデルとしてSolarisを発表しました。
Solarisは、アプリやWebサイトの画面を固定コードから表示するのではなく、利用者の操作に応じてフレーム単位で生成します。
クリック、ドラッグ、文字入力を取り込み、画面と操作結果を連続的に変化させます。
Runwayの動画生成モデルGen-4.5を、操作理解とリアルタイム応答へ適応させています。
フレームを順番に生成し、拡散処理のステップを少数へ蒸留し、長い操作中の画質を保つため生成結果でも学習したと説明しています。
目標は、リアルタイム操作、セッションを通した一貫性、720pで維持する視覚品質です。
言語モデルが利用者の意図と次の動作を判断し、Solarisが画面の描画と反応を生成する構成です。
Runwayは、視覚的で、継続的に変化し、事前定義されていない操作にも反応できる点を3つの主要能力として挙げています。
Webサイトやアプリの生成に加え、変化し続ける画面上でコンピューター操作エージェントを訓練する用途も示しています。
公式記事内の画面再現比較と利用者調査はRunway自身が実施した評価です。
発表時点では一般公開されておらず、企業名などを入力するフォームから早期アクセスを申請できます。
Runwayは提携先と公開に向けて作業中としており、一般提供日、料金、API、対象地域、モデルウェイト公開は案内していません。