Dlaczego widzenie maszynowe jest tak samo wadliwe jak widzenie ludzkie

Głęboko splotowe sieci neuronowe szturmem podbiły świat sztucznej inteligencji. Maszyny te rutynowo obecnie przewyższają ludzi w zadaniach, od rozpoznawania twarzy i obiektów po granie w starożytną grę Go.

Ironia polega oczywiście na tym, że sieci neuronowe zostały zainspirowane strukturą mózgu. Okazuje się, że istnieją niezwykłe podobieństwa między szerszą strukturą głębokich, konwolucyjnych sieci neuronowych stojących za widzeniem maszynowym a strukturą mózgu odpowiedzialnego za widzenie. Jeden z nich ewoluował przez miliony lat, drugi powstał w ciągu zaledwie kilku dekad. Ale oba wydają się działać w ten sam sposób.

I to rodzi interesujące pytanie – jeśli widzenie maszynowe i widzenie ludzkie działają w podobny sposób, czy są również ograniczone tymi samymi ograniczeniami? Czy ludzie i maszyny borykają się z tymi samymi wyzwaniami związanymi z wizją?

Dziś otrzymujemy odpowiedź dzięki pracy Saeeda Rezy Kheradpisheh z Uniwersytetu w Teheranie w Iranie i kilku kumplom z całego świata. Ci faceci przetestowali ludzi i maszyny z tymi samymi wyzwaniami widzenia i odkryli, że rzeczywiście borykają się z takimi samymi problemami.

Najpierw trochę tła. Ścieżka w mózgu odpowiedzialna za widzenie działa w kilku warstwach, z których uważa się, że każda z nich wydobywa z obrazu progresywnie więcej informacji, takich jak ruch, kształt, kolor i tak dalej. Każda warstwa składa się z ogromnej liczby neuronów połączonych w rozległą sieć.

Głęboko splotowe sieci neuronowe mają podobną strukturę. One również składają się z warstw, a każdy z nich jest siecią obwodów zaprojektowanych w celu naśladowania zachowania neuronów, stąd termin sieć neuronowa.

Dzięki wielu próbom i błędom informatycy odkryli, że te warstwy działają najlepiej, gdy każda z nich wyodrębnia coraz więcej informacji o obrazie. A kiedy przyjrzą się zachowaniu poszczególnych warstw indywidualnie, odkryją niezwykłe podobieństwa do funkcji poszczególnych warstw w mózgu.

Ale chociaż ludzki mózg jest dobry w rozpoznawaniu obiektów, nie jest doskonały. Zmień obraz w jakiś sposób, a rozpoznanie zawartego w nim obiektu nie zawsze jest łatwe.

Wyobraź sobie na przykład zdjęcie samochodu zrobione z boku. Istnieje wiele sposobów na zmianę tego obrazu. Jednym z nich jest przetłumaczenie obiektu, przeniesienie go z jednej części obrazu do drugiej. Innym jest powiększenie lub pomniejszenie.

Następnie istnieją dwa rodzaje rotacji. Jednym z nich jest obrót w płaszczyźnie, który pokazuje samochód z boku, ale na przykład do góry nogami.

Istnieją również rotacje w głąb. W tym przypadku trzeba sobie wyobrazić samochód jako obiekt 3D widziany z boku. Obrót w głąb pokazuje samochód z przodu, z tyłu lub w trzech czwartych i tak dalej.

Ale biorąc pod uwagę dwa zdjęcia tego samego samochodu z różnych punktów widzenia, jak trudno jest mieć pewność, że oba przedstawiają ten sam pojazd? Oczywiście niektóre rodzaje zniekształceń są trudniejsze niż inne — ale które? A czy maszyny mają ten sam problem?

Aby się tego dowiedzieć, Kheradpisheh i współpracownicy stworzyli wariacje obrazów czterech różnych rodzajów obiektów, a następnie przetestowali, jak dobrze ludzie i głębokie konwolucyjne sieci neuronowe radzą sobie z zadaniem ich rozpoznawania.

Test dla ludzi polega na losowym wybieraniu obrazu i wyświetlaniu go na ekranie przez 12,5 milisekundy. Obiekt musi następnie nacisnąć jeden z czterech przycisków, aby wskazać, czy zdjęcie przedstawia samochód, statek, motocykl czy zwierzę.

Zespół przetestował łącznie 89 różnych ludzi, z których każdy oglądał 960 obrazów. Naukowcy wykorzystali szybkość i dokładność odpowiedzi każdego badanego jako miarę tego, jak dobrze rozpoznali każdy obiekt.

Zespół przeprowadził również równoważny test na dwóch najpotężniejszych głębokich sieciach konwolucyjnych używanych do rozpoznawania obiektów, jednej opracowanej na Uniwersytecie w Toronto w Kanadzie, a drugiej na Uniwersytecie Oksfordzkim w Wielkiej Brytanii.

Wyniki stanowią ciekawą lekturę. Odkryliśmy, że ludzie i DCNN w dużej mierze zgodzili się co do względnych trudności każdego rodzaju wariacji, powiedzmy Kheradpisheh i spółka. Obrót w głąb jest zdecydowanie najtrudniejszą transformacją, po której następuje skala, następnie obrót w płaszczyźnie iw końcu pozycja (o wiele łatwiejsza).

Ta interesująca praca ma pewne bezpośrednie implikacje. Po pierwsze, informatycy będą musieli być bardziej ostrożni przy tworzeniu baz danych do testowania widzenia maszynowego. W przyszłości będą musieli kontrolować czynniki, które maszyny wydają się trudniejsze.

Ale pokazuje również potencjał głębokich, konwolucyjnych sieci neuronowych, które mogą pomóc w badaniu sposobu, w jaki działa ludzkie poznanie. Projektowanie niektórych obrazów jest krytycznym zadaniem w zastosowaniach, takich jak kontrola ruchu lotniczego, wyjścia awaryjne, instrukcje korzystania ze sprzętu ratunkowego i tak dalej.

Wykorzystywanie ludzi do oceny tych obrazów jest czasochłonnym i kosztownym biznesem. Ale być może tego rodzaju sieci neuronowe mogłyby zamiast tego wykonać pracę lub przynajmniej odfiltrować najgorsze przykłady i pozostawić ludziom znacznie lepiej zdefiniowane i mniej uciążliwe zadanie.

Poza tym możliwe jest zaprojektowanie systemów widzenia maszynowego, które nie są oszukiwane w taki sam sposób, jak ludzie, a zatem mogą usprawnić podejmowanie decyzji przez ludzi w sytuacjach krytycznych, takich jak prowadzenie pojazdu.

A to dopiero początek. Sieci neuronowe już rewolucjonizują wszelkiego rodzaju zadania, które kiedyś były domeną ludzi — ta zmiana tylko przyspieszy.

Nr ref.: arxiv.org/abs/1604.06486 : Ludzie i głębokie sieci w dużej mierze zgadzają się, które rodzaje zmienności utrudniają rozpoznawanie obiektów

ukryć