Pięta achillesowa Machine Vision ujawniona przez Google Brain Researchers

Jednym z najbardziej spektakularnych postępów we współczesnej nauce jest rozwój wizji maszynowej. W ciągu zaledwie kilku lat nowa generacja technik uczenia maszynowego zmieniła sposób, w jaki widzą komputery.

Maszyny przewyższają obecnie ludzi w rozpoznawaniu twarzy i obiektów, a także rewolucjonizują wiele zadań wizyjnych, takich jak prowadzenie pojazdu, monitorowanie bezpieczeństwa i tak dalej. Widzenie maszynowe jest teraz nadludzkie.

Ale pojawia się problem. Badacze wizji maszynowej zaczęli dostrzegać pewne niepokojące wady swoich nowych podopiecznych. Okazuje się, że algorytmy widzenia maszynowego mają piętę achillesową, która pozwala oszukać je obrazami zmodyfikowanymi w sposób, który byłby trywialny dla człowieka.

Te zmodyfikowane obrazy nazywane są obrazami kontradyktoryjnymi i stanowią poważne zagrożenie. Przeciwny przykład domeny rozpoznawania twarzy może składać się z bardzo subtelnych oznaczeń nałożonych na twarz osoby, aby ludzki obserwator mógł prawidłowo rozpoznać jej tożsamość, ale system uczenia maszynowego rozpoznałby ją jako inną osobę, mówią Alexey Kurakin i Samy Bengio z Google Brain i Ian Goodfellow z OpenAI, organizacji non-profit zajmującej się badaniami nad sztuczną inteligencją.

Ponieważ systemy widzenia maszynowego są tak nowe, niewiele wiadomo o obrazach przeciwnika. Nikt nie rozumie, jak najlepiej je tworzyć, jak oszukiwać systemy widzenia maszynowego ani jak chronić się przed tego rodzaju atakiem.

Dziś zaczyna się to zmieniać dzięki pracy Kurakin i spółki, którzy po raz pierwszy zaczęli systematycznie badać obrazy przeciwników. Ich praca pokazuje, jak podatne są systemy wizyjne maszyn na tego rodzaju ataki.

Zespół zaczyna od standardowej bazy danych do badań widzenia maszynowego, znanej jako ImageNet. Jest to baza danych obrazów sklasyfikowanych według tego, co przedstawiają. Standardowym testem jest wytrenowanie algorytmu widzenia maszynowego na części tej bazy danych, a następnie sprawdzenie, jak dobrze klasyfikuje on inną część bazy danych.

Wydajność w tych testach jest mierzona poprzez zliczenie, jak często algorytm ma poprawną klasyfikację w swoich najlepszych 5 odpowiedziach lub nawet w swojej pierwszej odpowiedzi (tak zwanej dokładności w pierwszej piątce lub w pierwszej dokładności) lub jak często nie ma poprawnej odpowiedź w swojej pierwszej piątce lub pierwszej pierwszej (najlepsza stopa błędów 5 lub top 1 stopa błędów).

Jednym z najlepszych systemów widzenia maszynowego jest algorytm Google Inception v3, który ma najwyższy wskaźnik błędów 5 wynoszący 3,46 procent. Ludzie wykonujący ten sam test mają najwyższy wskaźnik błędów 5 wynoszący około 5 procent, więc Incepcja v3 naprawdę ma nadludzkie zdolności.

Kurakin i spółka stworzyli bazę danych obrazów przeciwników, modyfikując 50 000 zdjęć z ImageNet na trzy różne sposoby. Ich metody wykorzystują ideę, że sieci neuronowe przetwarzają informacje w celu dopasowania obrazu do określonej klasyfikacji. Ilość wymaganych informacji, zwana entropią krzyżową, jest miarą tego, jak trudne jest zadanie dopasowania.

Ich pierwszy algorytm wprowadza niewielką zmianę do obrazu w sposób, który próbuje zmaksymalizować tę entropię krzyżową. Drugi algorytm po prostu iteruje ten proces, aby jeszcze bardziej zmienić obraz.

Oba te algorytmy zmieniają obraz w sposób, który utrudnia prawidłową klasyfikację. Metody te mogą prowadzić do nieciekawych błędnych klasyfikacji, takich jak pomylenie jednej rasy psów zaprzęgowych z inną rasą psów zaprzęgowych.

Ich ostateczny algorytm ma znacznie sprytniejsze podejście. Modyfikuje to obraz w sposób, który nakazuje systemowi widzenia maszynowego błędną klasyfikację go w określony sposób, najlepiej taki, który najmniej przypomina prawdziwą klasę. Najmniej prawdopodobna klasa jest zwykle bardzo różna od prawdziwej, więc ta metoda ataku prowadzi do bardziej interesujących błędów, takich jak pomylenie psa z samolotem, powiedzmy Kurakin i spółka.

Następnie testują, jak dobrze algorytm Google Inception v3 może sklasyfikować 50 000 obrazów przeciwnika.

Dwa proste algorytmy znacznie zmniejszają dokładność pierwszej piątki i pierwszej 1. Ale ich najpotężniejszy algorytm — najmniej prawdopodobna metoda klasy — szybko zmniejsza dokładność do zera dla wszystkich 50 000 obrazów. (Zespół nie mówi, jak skutecznie algorytm jest w kierowaniu błędną klasyfikacją.)

Sugeruje to, że obrazy przeciwnika stanowią poważne zagrożenie, ale takie podejście ma potencjalną słabość. Wszystkie te przeciwstawne obrazy są wprowadzane bezpośrednio do systemu widzenia maszynowego.

Ale w prawdziwym świecie obraz będzie zawsze modyfikowany przez system kamer, który rejestruje obrazy. A algorytm obrazu kontradyktoryjnego byłby bezużyteczny, gdyby ten proces zneutralizował jego efekt. Tak więc ważne pytanie brzmi, jak odporne są te algorytmy na przekształcenia zachodzące w świecie rzeczywistym.

Aby to przetestować, Kurakin i spółka drukują wszystkie obrazy przeciwników wraz z oryginałami i sfotografują je ręcznie za pomocą smartfona Nexus 5. Następnie przekazują te przekształcone, przeciwstawne obrazy do systemu widzenia maszynowego.

Kurakin i spółka twierdzą, że najmniej prawdopodobna metoda klasowa jest najbardziej podatna na tego rodzaju przekształcenia, ale inne wytrzymują dość dobrze. Innymi słowy, algorytmy obrazu kontradyktoryjnego naprawdę stanowią zagrożenie w świecie rzeczywistym. Zespół twierdzi, że znaczna część wrogich obrazów sporządzonych przy użyciu oryginalnej sieci jest błędnie sklasyfikowana, nawet gdy jest przekazywana do klasyfikatora przez kamerę.

To interesująca praca, która rzuca ważne światło na piętę achillesową widzenia maszynowego. A przed nami mnóstwo pracy. Kurakin i spółka chcą opracować obrazy przeciwników dla innych rodzajów systemów wizyjnych i sprawić, by były jeszcze bardziej efektywne.

Wszystko to wzbudzi pewne wątpliwości w społeczności zajmującej się bezpieczeństwem komputerowym. Systemy wizyjne maszynowe są teraz lepsze niż ludzie w rozpoznawaniu twarzy, więc naturalne jest oczekiwanie, że będą przyzwyczajone do wszystkiego, od odblokowywania smartfonów i drzwi wejściowych po kontrolę paszportową i biometrię kont bankowych. Ale Kurakin i spółka z łatwością podnoszą perspektywę oszukania tych systemów.

W ciągu ostatnich kilku lat nauczyliśmy się wiele o tym, jak dobre mogą być systemy wizji maszynowej. Teraz dopiero dowiadujemy się, jak łatwo można ich oszukać.

Nr ref.: arxiv.org/abs/1607.02533 : Przykłady kontradyktoryjności w świecie fizycznym

ukryć