AIを活用したゲーム内手話翻訳機をソニーが発表

ソニーは、聴覚障害のあるゲーマーのアクセシビリティを高めることを目的とした特許を申請しました。ソニーの特許は、特定の手話がどのようにゲーム内で別の手話に翻訳されるかを示しています。

ソニーがビデオ ゲーム用の ASL から JSL への翻訳機能を特許、VR デバイスの使用とクラウド ゲーム上での作業を提案

ソニーは、ビデオゲームにリアルタイム手話翻訳機能を追加する特許を申請しました。 「仮想環境における手話の翻訳」というタイトルのこの特許は、アメリカ手話 (ASL) を日本手話 (JSL) を使用して日本語を話すユーザーに伝えることができる最先端 テクノロジーを説明しています。 。

ソニーは、ゲーム内での会話中に手話をリアルタイムに翻訳することで聴覚障害のあるゲーマーを支援できるシステムを導入することを目指していると述べた。この特許に記載されている技術により、画面上に表示される仮想インジケーターまたはアバターがリアルタイムで手話を伝えることが可能になります。システムは、最初に、ある言語の手話ジェスチャをテキストに翻訳し、次にそのテキストを別の指定された言語に変換し、最後に受信したデータを他の言語の手話ジェスチャに翻訳する。

」 「あるユーザー (日本語など) の手話をキャプチャし、その手話を別のユーザー (英語など) に翻訳する方法とシステムに関する」とソニーは特許で説明している。 「手話は地理的起源によって異なるため、手話は普遍的ではありません。そのため、あるユーザーの手話を適切に捕捉し、母国語を理解し、別のユーザーの母国語での出力として新しい手話を生成する必要があります。」 ."

ソニーが説明したように、このシステムを実装できる 1 つの方法は、仮想現実 タイプのデバイスまたはヘッドマウント ディスプレイ (HMD)。 「一部の実装では、HMD は有線または無線接続を介してパーソナル コンピュータ、ゲーム コンソール、その他のコンピューティング デバイスなどのユーザー デバイスに接続します」とソニーは詳しく説明しています。 「一部の実装では、ユーザー デバイスは、ユーザーに仮想環境の夢中になる表示を提供する、HMD を介して表示するグラフィックスをレンダリングします。」

ソニーはさらに、あるユーザー デバイスがゲーム サーバーとのネットワークを介して別のユーザー デバイスとシームレスに通信できることを提案しました。 「一部の実装では、ゲームサーバーはビデオゲームの共有セッションを実行し、ビデオゲームとその仮想環境の権限状態を維持します」とソニーは述べています。仮想環境の状態。"

このセットアップを使用すると、ユーザーは共有ネットワークまたはサーバーを介して同じ仮想環境 aka ゲーム内で共有し、相互に対話することができます。ソニーはさらに、システムの一部の実装では、ゲームサーバーが各ユーザーデバイス間で「ビデオをレンダリングしてストリーミング」するクラウドゲームシステムの一部になる可能性があると述べた。