211service.com
Aparat pozwala niewidomym nawigować za pomocą gestów
Eelke Folmer i Vinitha Khambadkar uważają, że niewidomi mogliby obejść się bez białych lasek i zamiast tego nawigować z kamerą na szyi, która daje wskazówki głosowe w odpowiedzi na gesty rąk.
Folmer i Khambadkar, naukowcy z University of Nevada, zaprezentowali tę technologię w zeszłym tygodniu na sympozjum ACM na temat oprogramowania i technologii interfejsu użytkownika. Znany jako interfejs gestów dla zdalnej percepcji przestrzennej, którego skrótem jest SENS , system wykorzystuje sensor Microsoft Kinect do analizy i identyfikacji obiektów w swoim polu widzenia. GIST pozwala wydobyć informacje ze środowiska, mówi Folmer.
Badania Nevady czerpią z pomysłów MIT Projekt Szósty Zmysł , wysiłek rozszerzonej rzeczywistości, w którym urządzenie do noszenia wyświetla informacje na świat fizyczny i umożliwia użytkownikowi interakcję z nim poprzez machanie, wskazywanie lub wykonywanie innych gestów. Ale w przeciwieństwie do tego, GIST gromadzi dane w odpowiedzi na gesty rąk jako sposób na wzmocnienie poważnie ograniczonej percepcji przestrzennej osób niewidomych.
Na przykład, jeśli osoba nosząca GIST zrobi znak V za pomocą palca wskazującego i środkowego, urządzenie zidentyfikuje dominujący kolor w otoczkowanym obszarze. Jeśli użytkownik wyciągnie zaciśniętą pięść, system zidentyfikuje, czy dana osoba jest w tym kierunku i jak daleko się znajduje. (Zobacz krótki film demonstracyjny naukowców poniżej.)
Gesty nie mają być jedynym sposobem interakcji z GIST, jednak dzięki zdolności sensora Kinect do rozpoznawania obiektów, twarzy i mowy. Jak wyjaśnia Folmer: Mówisz do czujnika coś w stylu „To jest mój kubek”. Kładziesz go na stole i mówisz: „Hej, gdzie jest mój kubek?”. Powie, że jest tuż przed tobą. Kolejna sztuczka polega na wymyśleniu, jak kontynuować śledzenie obiektu, gdy oddala się on lub oddala od użytkownika.
Naukowcy planują również sprawdzić, czy GIST może skutecznie powiedzieć swoim użytkownikom WHO jest przed nimi, porównując twarze wykrytych osób z niewielką bazą danych, którą użytkownik może skonfigurować za pomocą poleceń głosowych. Jeśli to nie zadziała, mówi Folmer, naukowcy mogą wypróbować system, który identyfikuje ludzi na podstawie ich kształtu ciała.
Firma GIST wkrótce skorzysta z nowego sensora Kinect 2.0, który usprawnia śledzenie oryginału i umożliwia precyzyjne rozpoznawanie palców — w przeciwieństwie do samych dłoni. Zastrzeżeniem jest jednak to, że nowy Kinect jest większy i masywniejszy, co sprawia, że nie nadaje się do długotrwałego noszenia na szyi.
Ale Folmer uważa, że to tylko kwestia czasu, zanim pojawią się sensory typu Kinect, które będą wystarczająco małe, aby zmieścić się w smartfonach — w rzeczywistości proces już trwa (patrz: Kamery z czujnikiem głębi kierują się na urządzenia mobilne). Ogólnie rzecz biorąc, Folmer uważa, że w miarę jak urządzenia komputerowe głównego nurtu stają się mniejsze, będą bardzo przydatne dla osób z dysfunkcją wzroku, ponieważ takie urządzenia będą opierać się na interfejsach, takich jak mowa, z których niewidomi używają od dziesięcioleci.