Tłumacz języka migowego

Słowniki dwujęzyczne to zazwyczaj droga dwukierunkowa: możesz wyszukać słowo w języku angielskim i znaleźć, powiedzmy, jego hiszpański odpowiednik, ale możesz też zrobić odwrotnie. Słowniki języka migowego tłumaczą jednak tylko słowa pisane na gesty. Może to być bardzo frustrujące, szczególnie dla rodziców niesłyszących dzieci, którzy chcą zrozumieć nieznane gesty, lub osób niesłyszących, które chcą komunikować się online w swoim podstawowym języku. Dlatego naukowcy z Boston University (BU) opracowują przeszukiwalny słownik języka migowego , w którym każdy użytkownik może wprowadzić gest w wyszukiwarce słownika z własnego laptopa, logując się przed wbudowaną kamerą.

Wyszukiwanie po znaku: Naukowcy z Bostonu opracowują pierwszy słownik języka migowego, który można przeszukiwać za pomocą gestów. Osoba podpisująca (na zdjęciu) siedzi w studiu wyposażonym w szybkie kamery, które rejestrują ruchy dłoni i mimikę twarzy. Filmy na laptopie skłaniają ją do robienia określonych znaków. Film przedstawiający osobę podpisującą zostanie wykorzystany do uczenia algorytmów identyfikacji wzorców gestów.

Być może masz zbiór języków migowych w YouTube, a teraz, aby wyszukiwać, musisz szukać w języku angielskim, mówi Stan Sclaroff , profesor informatyki na BU. Sclaroff mówi, że jest to odpowiednik wyszukiwania tekstu w języku hiszpańskim za pomocą tłumaczeń na język angielski. Mówi, że to nienaturalne i niesprawiedliwe.

Sclaroff opracowuje słownik we współpracy z Carol Neidle , profesor lingwistyki na BU oraz Vassilis Athitsos, adiunkt informatyki i inżynierii na University of Texas w Arlington. Gdy użytkownik wykona gest, słownik przeanalizuje go i wyświetli pięć najlepszych możliwych dopasowań i znaczeń.

Mówi się, że dzisiejsze rozpoznawanie języka migowego jest mniej więcej na etapie, na którym rozpoznawanie mowy było 20 lat temu Thad Starner , szef grupy Contextual Computing w Georgia Institute of Technology. Grupa Starnera się rozwija oprogramowanie do rozpoznawania języka migowego dla dzieci , używając rękawic z czujnikami do śledzenia ruchów dłoni. Wraz ze swoimi uczniami zaprojektował gry edukacyjne, w których dzieci z wadą słuchu w rękawiczkach uczą się języka migowego. Komputer ocenia kształt dłoni i przechodzi do następnego ćwiczenia, jeśli dziecko poprawnie się podpisało.

W przeciwieństwie do pracy Starnera, celem Sclaroffa i Neidle'a jest stworzenie systemu bezczujnikowego, w którym każdy, kto ma kamerę i połączenie z Internetem, może uczyć się języka migowego i wchodzić w interakcje. Podejście to, zdaniem Starnera, jest unikalne w dziedzinie rozpoznawania języka migowego, a także w dziedzinie widzenia komputerowego.

To wymaga dużej mocy obliczeniowej, a próba radzenia sobie z językiem migowym w różnych jakościach wideo jest bardzo trudna, mówi Starner. Więc jeśli im się to uda, bardzo fajnie byłoby przeszukiwać sieć w języku migowym.

Aby sprostać temu trudnemu wyzwaniu, zespół BU prosi wielu sygnatariuszy, aby usiedli w studiu, pojedynczo, i podpisali się za pomocą 3000 gestów w klasycznym słowniku amerykańskiego języka migowego (ASL). Jak podpisują, cztery szybkie, wysokiej jakości kamery jednocześnie rejestrują widoki z przodu i z boku, a także mimikę twarzy. Według Neidle'a uśmiechy, zmarszczki brwi i uniesione brwi są w dużej mierze niedostatecznie zbadaną częścią ASL, która może dostarczyć mocnych wskazówek dotyczących znaczenia gestu.

Gdy pojawiają się dane wizualne, Neidle i jej uczniowie analizują je, zaznaczając początek i koniec każdego znaku oraz identyfikując kluczowe podgesty – jednostki odpowiadające angielskim fonemom. W międzyczasie Sclaroff wykorzystuje te informacje do opracowania algorytmów, które mogą, powiedzmy, odróżnić ręce osoby podpisującej od tła lub rozpoznać pozycję i kształt dłoni oraz wzorce ruchu. Biorąc pod uwagę, że każda osoba może podpisać słowo w nieco inny sposób, zespół analizuje gesty zarówno rodzimych, jak i nierodzimych sygnatariuszy, mając nadzieję na opracowanie komputerowego rozpoznawania, które poradzi sobie z takimi odmianami.

Głównym wyzwaniem w przyszłości może być uwzględnienie wielu niekontrolowanych czynników po stronie użytkownika, mówi Sclaroff. Na przykład ktoś, kto użyje gestu do wpisania zapytania do laptopa, będzie miał aparat gorszej jakości. Tło może być bardziej zagracone niż dokładnie kontrolowane środowisko studyjne w próbkach bazy danych, a komputer będzie musiał dostosować się do zmiennych, takich jak ubranie i odcień skóry.

Po prostu wyprodukuj znak i sprawdź go – to prawdziwa nowość, którą staramy się osiągnąć, mówi Neidle. To byłaby poprawa w stosunku do wszystkiego, co istnieje teraz.

ukryć