Tradutor de linguagem de sinais no jogo com tecnologia de IA, revelado pela Sony

A Sony registrou uma patente que visa fornecer maior acessibilidade para jogadores surdos. A patente da Sony demonstra como linguagens de sinais específicas podem ser traduzidas para outro jogo.

Sony patenteia tradutor de ASL para JSL para videogames proposto para usar dispositivos VR e trabalhar em jogos na nuvem

A Sony registrou uma patente que adiciona um tradutor de linguagem de sinais em tempo real aos videogames. A patente, intitulada "TRADUÇÃO DE LINGUAGEM DE SINAIS EM UM AMBIENTE VIRTUAL", ilustra uma tecnologia de ponta em que a linguagem de sinais americana (ASL) pode ser comunicada a um usuário de língua japonesa usando a linguagem de sinais japonesa (JSL). .

A Sony disse que pretende implementar um sistema que possa ajudar jogadores surdos por meio de traduções em tempo real de línguas de sinais durante conversas no jogo. A tecnologia descrita na patente permitiria que indicadores virtuais ou avatares exibidos na tela comunicassem a linguagem de sinais em tempo real. O sistema traduzirá inicialmente os gestos de sinais de um idioma em texto, depois converterá o texto para outro idioma especificado e, finalmente, traduzirá os dados recebidos nos gestos de sinais do outro idioma.

"Implementações da presente divulgação referem-se a métodos e sistemas para capturar a linguagem de sinais de um usuário (por exemplo, japonês) e traduzir a linguagem de sinais para outro usuário (por exemplo, inglês)", descreveu a Sony na patente. "Como as línguas de sinais variam dependendo das origens geográficas, a linguagem de sinais não é universal. Isso proporciona a necessidade de capturar adequadamente a linguagem de sinais de um usuário, compreender a língua nativa e gerar uma nova linguagem de sinais como saída para outro usuário em sua língua de sinais nativa ."

Uma maneira pela qual esse sistema poderia ser implementado, como a Sony ilustrou, seria com a ajuda de um dispositivo do tipo realidade virtualou monitor montado na cabeça (HMD). “Em algumas implementações, o HMD se conecta por meio de uma conexão com ou sem fio a um dispositivo do usuário, como um computador pessoal, console de jogos ou outro dispositivo de computação”, elaborou a Sony. "Em algumas implementações, o dispositivo do usuário renderiza gráficos para exibição por meio do HMD que fornece visualização absorvente do ambiente virtual para o usuário."

A Sony propôs ainda que um dispositivo de usuário pudesse se comunicar perfeitamente com outro dispositivo de usuário por meio de uma rede com um servidor de jogos. “Em algumas implementações, o servidor do jogo executa uma sessão compartilhada de um videogame, mantendo o estado autoritário do videogame e seu ambiente virtual”, disse a Sony, “e com o qual os dispositivos do usuário são sincronizados em relação o estado do ambiente virtual."

Com esta configuração, os usuários podem compartilhar e interagir entre si no mesmo ambiente virtual, aka jogo, por meio de uma rede ou servidor compartilhado. A Sony disse ainda que em algumas implementações do sistema, o servidor de jogos pode fazer parte de um sistema de jogos em nuvem, que “renderiza e transmite vídeo” entre cada dispositivo do usuário.