Aplikacja wykrywa obiekty dla osób niedowidzących

Niedawno rano, gdy spacerowałem po biurze, kobiecy głos na moim iPhonie opowiadał mijane przeze mnie przedmioty. Cegła, ściana, telefon, powiedziała rzeczowo. Głos ucichł, kiedy natknąłem się na rower zawieszony na wieszaku ściennym, a potem zaintonował rower.

Głos jest częścią bezpłatnej aplikacji do rozpoznawania obrazów o nazwie Aipoli ma to na celu ułatwienie osobom z wadami wzroku rozpoznanie otoczenia. Aby z niego skorzystać, skieruj tylną kamerę telefonu na to, co chcesz zidentyfikować, a Aipoly powie to, co widzi (lub przynajmniej to, co myśli, że widzi) i pokaże nazwę obiektu na wyświetlaczu telefonu. Aipoly działa bezpośrednio na telefonie, więc nie potrzebuje dostępu do Internetu do pracy i może identyfikować jeden obiekt po drugim, gdy poruszasz telefonem, bez konieczności robienia zdjęcia każdej rzeczy.

Twórcy Aipoly mają nadzieję, że aplikacja może być pomocna dla osób z poważnymi wadami wzroku – a być może dla tych, którzy próbują nauczyć się nowego języka. Mają również nadzieję, że będzie to szybsze niż inne aplikacje związane z rozpoznawaniem obrazów, które polegają na pomocy innych ludzi, takich jak Bądź moimi oczami , lub które wymagają dostępu do Internetu, np. DotknijTapZobacz .

Aplikacja została wdrożona na iPhone'a na początku tego roku przez startup o tej samej nazwie z Melbourne. Współzałożyciel Aipoly, Simon Edwardsson, mówi, że rozpoznaje obrazy za pomocą głębokiego uczenia, które jest techniką uczenia maszynowego inspirowaną badaniami mózgu. To ta sama technologia, której używa Facebook do rozpoznawania twarzy i Google do wyszukiwania obrazów.

Aplikacja ustala, czym jest coś, dzieląc obraz na różne cechy, takie jak krzywe, linie i wzory (takie jak paski), a następnie używa tych funkcji do określenia prawdopodobieństwa, że ​​obraz jest konkretnym obiektem.

Aipoly była w stanie powiedzieć mi, ile rzeczy mogę znaleźć w swoim biurze, choć nadal wymaga to wiele pracy. Do tej pory może rozpoznać tylko około 1000 obiektów; Edwardsson mówi, że firma próbuje zwiększyć tę liczbę do 5000, choć nadal nie byłoby to aż tak wiele, jeśli weźmie się pod uwagę, ile różnych rzeczy napotykasz każdego dnia.

I chociaż aplikacja często była poprawna podczas dostrzegania obiektu, nawet gdy była częściowo zasłonięta (tak jak słuchawki zawieszone na szyi mojego kolegi), zdarzało się również wiele niewypałów.

Na przykład jego kobiecy głos mówił Chevrolet, potem kółko i wreszcie mysz, podczas gdy telefon był skupiony na mojej myszy komputerowej. A aplikacja błędnie identyfikowała kuchenkę mikrofalową jako AC.

Aplikacja Aipoly na iPhone'a wykorzystuje sztuczną inteligencję do identyfikowania obiektów, gdy poruszasz telefonem.

Użytkownicy mogą trenować Aipoly, wpisując prawidłowe słowo lub frazę, aby zidentyfikować obiekt, który się pomylił; Dane te zostaną następnie przesłane na serwery Aipoly, a startup będzie dodawać opisy do Aipoly mniej więcej co kilka tygodni w miarę wydawania nowych wersji aplikacji, mówi Edwardsson.

Jeff Bigham , profesor nadzwyczajny interakcji człowiek-komputer na Carnegie Mellon University, który bada technologie wspomagające, mówi, że Aipoly wydaje się działać całkiem nieźle i można go wykorzystać do poznania otoczenia, przesuwając telefon wokół siebie. Ale kwestionuje to, jak przydatne są niektóre z jego umiejętności identyfikowania obiektów, ponieważ ludzie zwykle są dobrzy w określaniu, czym jest coś, dotykając tego.

O wiele bardziej przydatne jest rozróżnianie rzeczy, które są nie do odróżnienia, jak mówi, takich jak puszki lub pudełka z jedzeniem, które mają podobne uczucia.

ukryć