Un traducteur en langue des signes dans le jeu alimenté par l'IA dévoilé par Sony

Sony a déposé un brevet qui vise à offrir une accessibilité accrue aux joueurs sourds. Le brevet de Sony démontre comment des langues des signes spécifiques peuvent être traduites dans une autre dans le jeu.

Sony fait breveter un traducteur ASL vers JSL pour les jeux vidéo, proposé pour utiliser des appareils VR et travailler sur des jeux en nuage

Sony a déposé un brevet qui ajoute un traducteur en langue des signes en temps réel aux jeux vidéo. Le brevet, intitulé « TRADUCTION DE LA LANGUE DES SIGNES DANS UN ENVIRONNEMENT VIRTUEL », illustre une technologie de pointe dans laquelle la langue des signes américaine (ASL) pourrait être communiquée à un utilisateur parlant japonais en utilisant la langue des signes japonaise (JSL). .

Sony a déclaré vouloir mettre en place un système capable d'assister les joueurs sourds via des traductions en temps réel des langues des signes lors des conversations en jeu. La technologie décrite dans le brevet permettrait à des indicateurs virtuels ou à des avatars affichés à l'écran de communiquer en langage des signes en temps réel. Le système traduira initialement les gestes de signes d'une langue en texte, puis convertira le texte dans une autre langue spécifiée, et enfin traduira les données reçues en gestes de signes de l'autre langue.

"Mise en œuvre de la présente invention. concernent les méthodes et les systèmes permettant de capturer la langue des signes d'un utilisateur (par exemple, le japonais) et de traduire la langue des signes à un autre utilisateur (par exemple, l'anglais)", a décrit Sony dans le brevet. "Étant donné que les langues des signes varient en fonction des origines géographiques, la langue des signes n'est pas universelle. Cela nécessite de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre la langue maternelle et de générer une nouvelle langue des signes comme sortie pour un autre utilisateur dans sa langue des signes native. ."

Une façon dont ce système pourrait être mis en œuvre, comme Sony l'a illustré, serait à l'aide d'un virtuel appareil de type réalité ou visiocasque (HMD). "Dans certaines implémentations, le HMD se connecte via une connexion filaire ou sans fil à un appareil utilisateur, tel qu'un ordinateur personnel, une console de jeu ou un autre appareil informatique", a expliqué Sony . "Dans certaines implémentations, la machine utilisateur restitue des graphiques à afficher via le HMD qui fournissent une visualisation captivante de l'environnement virtuel pour l'utilisateur."

Sony a en outre proposé qu'un appareil utilisateur puisse communiquer de manière transparente avec un autre appareil utilisateur sur un réseau doté d'un serveur de jeux. "Dans certaines implémentations, le serveur de jeu exécute une session partagée d'un jeu vidéo, en maintenant l'état faisant autorité du jeu vidéo et de son environnement virtuel", a déclaré Sony, "et avec lequel les appareils des utilisateurs sont synchronisés en ce qui concerne l'état de l'environnement virtuel."

Avec cette configuration, les utilisateurs peuvent partager et interagir les uns avec les autres dans le même environnement virtuel, aka jeu, sur un réseau ou un serveur partagé. Sony a également déclaré que dans certaines implémentations du système, le serveur de jeu pourrait faire partie d'un système de jeu en nuage, qui « restitue et diffuse de la vidéo » entre chaque appareil utilisateur.