Oparty na sztucznej inteligencji tłumacz języka migowego w grach firmy Sony zaprezentowany

Sony złożyło patent, którego celem jest zapewnienie większej dostępności dla niesłyszących graczy. Patent Sony pokazuje, jak określone języki migowe można przetłumaczyć na inny język w grze.

Sony patentuje tłumacza ASL na JSL dla gier wideoPropozycja użycia urządzeń VR i pracy w grach w chmurze

Sony złożyło patent, który dodaje do gier wideo tłumacza języka migowego działającego w czasie rzeczywistym. Patent zatytułowany „TŁUMACZENIE JĘZYKA MIGOWEGO W ŚRODOWISKU WIRTUALNYM” ilustruje najnowocześniejszą technologię, dzięki której amerykański język migowy (ASL) może być komunikowany japońskojęzycznemu użytkownikowi przy użyciu japońskiego języka migowego (JSL) .

Sony oświadczyło, że zamierza wdrożyć system, który będzie mógł pomagać niesłyszącym graczom poprzez tłumaczenie języków migowych w czasie rzeczywistym podczas rozmów w grach. Technologia opisana w patencie umożliwiłaby wyświetlanie na ekranie wirtualnych wskaźników lub awatarów komunikowanie się w języku migowym w czasie rzeczywistym. System początkowo przetłumaczy gesty migowe jednego języka na tekst, następnie przekonwertuje tekst na inny określony język, a na koniec przetłumaczy otrzymane dane na gesty migowe drugiego języka.

"Wdrożenia niniejszego ujawnienia odnoszą się do metod i systemów przechwytywania języka migowego jednego użytkownika (np. japońskiego) i tłumaczenia języka migowego innemu użytkownikowi (np. angielskiego)” – opisała firma Sony w patencie. „Ponieważ języki migowe różnią się w zależności od pochodzenia geograficznego, język migowy nie jest uniwersalny. Stwarza to potrzebę odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia języka ojczystego i wygenerowania nowego języka migowego jako wyjścia dla innego użytkownika w jego ojczystym języku migowym .”

Jednym ze sposobów wdrożenia tego systemu, jak pokazało Sony, byłoby użycie wirtualnego urządzenie typu reality lub wyświetlacz montowany na głowie (HMD). „W niektórych wdrożeniach HMD łączy się za pomocą połączenia przewodowego lub bezprzewodowego z urządzeniem użytkownika, takim jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe” – opracowało Sony. „W niektórych implementacjach urządzenie użytkownika renderuje grafikę do wyświetlenia za pośrednictwem HMD, co zapewnia użytkownikowi wciągające oglądanie środowiska wirtualnego.”

Sony zaproponowało ponadto, że jedno urządzenie użytkownika mogłoby bezproblemowo komunikować się z innym urządzeniem użytkownika za pośrednictwem sieci z serwerem gier. „W niektórych implementacjach serwer gry wykonuje wspólną sesję gry wideo, utrzymując autorytatywny stan gry wideo i jej środowiska wirtualnego” – stwierdziło Sony – „i z którym urządzenia użytkowników są synchronizowane pod względem stan środowiska wirtualnego.”

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje ze sobą w tym samym środowisku wirtualnym, w grze aka, za pośrednictwem współdzielonej sieci lub serwera. Sony stwierdziło dodatkowo, że w niektórych wdrożeniach systemu serwer gier może stanowić część systemu gier w chmurze, który „renderuje i przesyła strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.