Jak opaski mogą tłumaczyć język migowy

Para mójo Opaski z kontrolą gestów oraz komputer lub smartfon mogą przyspieszyć i ułatwić osobom niedosłyszącym komunikowanie się za pomocą języka migowego z osobami, które go nie rozumieją.

To właśnie naukowcy z Arizona State University twierdzą, że mogą zrobić dzięki projektowi o nazwie Berło . Używają opasek do uczenia oprogramowania szeregu gestów w amerykańskim języku migowym; następnie, gdy osoba nosząca opaski zrobi jeden z tych znaków, może on zostać dopasowany do odpowiadającego mu słowa lub frazy w bazie danych Sceptre i pojawi się jako tekst na ekranie.

Nadzieją jest ułatwienie komunikacji w sytuacjach nagłych, w szczególności w gabinecie lekarskim lub szpitalu, bez polegania na komunikacji pisemnej lub, jak zrobiły niektóre inne badania dotyczące rozpoznawania języka migowego, przy użyciu kamer do rozpoznawania gestów w języku migowym. A papier Prace zostaną zaprezentowane na konferencji poświęconej inteligentnym interfejsom użytkownika w marcu.

Naukowcy polegali na opaskach Myo, aby Scepter działał, ponieważ zawierają one zarówno inercyjną jednostkę pomiarową do śledzenia ruchu, jak i czujniki elektromiograficzne do wykrywania mięśni, które można wykorzystać do określenia konfiguracji palców. Wyszkolili oprogramowanie do rozpoznawania różnych gestów ASL, a także znaków dla poszczególnych liter i cyfr od 1 do 10, a wszystko to wykonywane przez osobę noszącą opaski Myo.

Sceptre, projekt badawczy, który tłumaczy język migowy jako tekst za pomocą opasek Myo, można by wykorzystać do pracy z komputerem lub smartfonem.

Po tym, jak użytkownicy nauczyli swoje oprogramowanie 20 różnych gestów ASL, takich jak pizza, happy i orange, powtarzając każdy z nich trzy razy, naukowcy odkryli, że Scepter był wtedy w stanie poprawnie rozszyfrować znak w prawie 98 procentach przypadków.

W wideo demonstrując, jak to działa, Prajwal Paudyal, doktorant na Uniwersytecie Stanowym Arizony, który jest współautorem artykułu , nosi opaski i podpisuje kilka różnych rzeczy, które są następnie zilustrowane na ekranie komputera, takie jak cały poranek, ból głowy i niemożność spania.

Chociaż znaki były wyświetlane jako tekst w badaniu, można je było również wypowiedzieć na głos przez aplikację, aby ułatwić rozmowę, mówi Paudyal. . Podczas gdy demonstracja naukowców pokazywała tekst na ekranie komputera, z którym opaski Myo są połączone przez Bluetooth, Scepter może być również używany tylko ze smartfonem — coś, nad czym pracują naukowcy (Myo obsługuje przesyłanie strumieniowe danych z dwóch opasek do jednego smartfon, ale naukowcy twierdzą, że nie było to możliwe, gdy prowadzili swoją początkową pracę).

Najlepiej byłoby, gdyby osoba mogła używać tego w dowolnym miejscu, mówi Paudyal.

Sceptre, projekt badawczy Arizona State University, wykorzystuje dwie opaski Myo do tłumaczenia języka migowego na tekst.

Roozbeh Jafari , profesor nadzwyczajny w Centrum Technologii i Systemów Zdalnej Opieki Zdrowotnej w Teksasie A&M, wykonał podobną pracę, chociaż polegał na budowie czujników, a nie używaniu gotowych urządzeń, jak to zrobiła grupa ASU.

Mówi, że jest wiele problemów, które należałoby rozwiązać, aby coś takiego jak Scepter działało dla konsumentów. Zazwyczaj, gdy umieszczasz czujniki elektromiograficzne na ciele, system, który z nich korzysta, musi zostać skalibrowany, chyba że znajdują się one dokładnie w tym samym miejscu, w którym znajdowały się wcześniej, mówi. Istnieje również potrzeba uwzględnienia różnic, które naturalnie występują w sposobie, w jaki ludzie podpisują te same rzeczy. Mimo tych przeszkód, mówi, myślę, że idziemy we właściwym kierunku.

ukryć