消費者向け・モデル
手話AIを利用者の手に届ける
原題: Putting sign language AI into users’ hands
発表内容
Google DeepMindは、手話をストリーミングテキストへ翻訳するモデル「SL2T」を発表しました。
SL2TはPixel 11のGboardとLive Transcribeで、アメリカ手話（ASL）から英語への変換に利用できます。
Gboardでは、文字を入力する代わりに手話で検索、メッセージや文書の作成、Geminiへの質問やタスク依頼ができます。
Live Transcribeでは、会話中の返答をキーボード入力せず手話でテキスト化できます。
最初の対応端末はPixel 11で、追加端末と追加言語は今後提供予定です。
この機能は追加料金なしで提供されます。
モデルは50以上の手話を含む10万時間超のデータで共同学習され、データの約4分の1がASLです。
端末上のMediaPipe Holisticが身体の姿勢点を抽出し、翻訳サーバーへ送るのは幾何学座標です。元のカメラ映像は直ちに破棄されると説明しています。
SL2Tは中間的な手話注釈を介さず、姿勢点の系列を直接テキストへ翻訳します。
GoogleはFLEURS-ASLの評価結果を示していますが、これは同社による評価です。
まれな手話、速い指文字、受動構文、文脈なしの時制などには誤りが残ると明記しています。
Google DeepMindとAndroidチームは、ろう者団体や専門家と諮問委員会を設け、製品評価と影響評価へ当事者の意見を反映したと説明しています。