Jak możemy chronić się przed złośliwą sztuczną inteligencją?

Diagram przedstawiający obraz pandy oraz obraz jakiegoś hałasu, co odpowiada obrazowi pandy błędnie zidentyfikowanej jako gibon. Zdjęcie pandy: flickr.com / Gabriele Gherardi

Poruszyliśmy już wcześniej koncepcję wrogich przykładów — klasę drobnych zmian, które po wprowadzeniu do modelu głębokiego uczenia się powodują jego niewłaściwe zachowanie. W marcu relacjonowaliśmy przemówienie profesora UC Berkeley Dawn Song na naszej dorocznej konferencji EmTech Digital o tym, jak używała naklejek, aby oszukać samojezdny samochód, by pomyślał, że znak stopu to znak z prędkością 45 mil na godzinę, i w jaki sposób użyła szytego na miarę wiadomości, aby model tekstowy wypluwał poufne informacje, takie jak numery kart kredytowych. W kwietniu podobnie rozmawialiśmy o tym, jak hakerzy w białych kapeluszach używali naklejek, aby zmylić Autopilota Tesli do kierowania samochodem na nadjeżdżający ruch.

W ostatnich latach, gdy systemy uczenia głębokiego stają się coraz bardziej wszechobecne w naszym życiu, naukowcy wykazali, w jaki sposób przykłady kontradyktoryjności mogą wpływać na wszystko, od prostych klasyfikatory obrazów do systemy diagnostyki raka , co prowadzi do konsekwencji, od łagodnych do zagrażających życiu. Jednak pomimo ich niebezpieczeństwa przykłady kontradyktoryjności są słabo poznane. A badacze martwią się, jak – a nawet czy – problem można rozwiązać.

DO nowy papier z MIT wskazuje teraz na możliwą drogę do pokonania tego wyzwania. Mogłoby to pozwolić nam na tworzenie znacznie solidniejszych modeli głębokiego uczenia, którymi znacznie trudniej byłoby manipulować w złośliwy sposób. Aby zrozumieć jego znaczenie, przyjrzyjmy się najpierw podstawom przykładów kontradyktoryjności.

Jak już wielokrotnie zauważyliśmy, siła uczenia głębokiego wynika z jego doskonałej zdolności do rozpoznawania wzorców w danych . Nakarm sieć neuronową dziesiątkami tysięcy oznaczonych zdjęć zwierząt, a dowie się, które wzory są powiązane z pandą, a które z małpą. Następnie może wykorzystać te wzorce do identyfikacji nowych obrazów zwierząt, których nigdy wcześniej nie widział.

Ale modele uczenia głębokiego są również kruche. Ponieważ system rozpoznawania obrazów opiera się tylko na wzorcach pikseli, a nie na głębszym konceptualnym zrozumieniu tego, co widzi, łatwo jest oszukać system, aby zobaczył coś zupełnie innego — po prostu zaburzając wzorce we właściwy sposób. Oto klasyczny przykład: dodaj trochę szumu do obrazu pandy, a system zaklasyfikuje go jako gibon z prawie 100% pewnością. Hałas jest tutaj atakiem przeciwnika.

Ian Goodfellow i in./OpenAI

Od kilku lat naukowcy obserwowali to zjawisko, szczególnie w komputerowych systemach wizyjnych, nie wiedząc tak naprawdę, jak pozbyć się takich podatności. W rzeczywistości w artykule przedstawionym w zeszłym tygodniu na dużej konferencji badawczej ICLR w sprawie sztucznej inteligencji zakwestionowano, czy: ataki przeciwnika są nieuniknione . Wydawałoby się, że bez względu na to, ile obrazów pandy wprowadzisz do klasyfikatora obrazów, zawsze będzie jakiś rodzaj perturbacji, który możesz zaprojektować, aby wyłączyć system.

Ale nowy artykuł MIT pokazuje, że błędnie myśleliśmy o atakach kontradyktoryjnych. Zamiast myśleć o sposobach gromadzenia większej liczby lepszych danych treningowych, które mają być przesyłane do naszego systemu, powinniśmy całkowicie przemyśleć sposób, w jaki podchodzimy do szkolenia.

Wykazał to, identyfikując dość interesującą właściwość przykładów przeciwników, która pomaga nam zrozumieć, dlaczego są tak skuteczne. Pozornie losowy szum lub naklejki, które powodują błędną klasyfikację, w rzeczywistości wykorzystują bardzo precyzyjne, drobne wzory, które system obrazu nauczył się silnie kojarzyć z określonymi obiektami. Innymi słowy, maszyna nie zachowuje się niewłaściwie, gdy widzi gibon w miejscu, w którym widzimy pandę. Rzeczywiście, jest to niedostrzegalny dla ludzi wzór pikseli, który występował znacznie częściej na zdjęciach gibonów niż na zdjęciach pand podczas treningu.

Naukowcy zilustrowali to, przeprowadzając eksperyment: stworzyli zestaw danych obrazów psów, które zostały zmienione w drobny sposób, co spowodowałoby, że standardowy klasyfikator obrazów błędnie zidentyfikowałby je jako koty. Następnie błędnie oznaczyli obrazy jako koty i wykorzystali je do wytrenowania nowej sieci neuronowej od podstaw. Po treningu pokazali rzeczywiste obrazy kotów z sieci neuronowej i poprawnie zidentyfikowali wszystkie z nich jako koty.

To, co zasugerowało naukowcom, to to, że w każdym zestawie danych istnieją dwa rodzaje korelacji: wzorce, które faktycznie korelują ze znaczeniem danych, takich jak wąsy na obrazie kota lub ubarwienie futra na obrazie pandy, oraz wzory, które zdarzają się w danych treningowych, ale nie są uogólniane na inne konteksty. Te ostatnie wprowadzające w błąd korelacje, jak je nazwiemy, są wykorzystywane w atakach adwersarzy. Na powyższym diagramie, na przykład, atak wykorzystuje wzór pikseli fałszywie skorelowany z gibonami, zakopując te niedostrzegalne piksele w obrazie pandy. System rozpoznawania, wyszkolony w rozpoznawaniu mylącego wzoru, wychwytuje go i zakłada, że ​​patrzy na gibon.

To mówi nam, że jeśli chcemy wyeliminować ryzyko ataków przeciwnika, musimy zmienić sposób, w jaki trenujemy nasze modele. Obecnie pozwalamy sieci neuronowej wybrać dowolne korelacje, których chce użyć do identyfikacji obiektów na obrazie. Ale w rezultacie nie mamy kontroli nad znalezionymi korelacjami i tym, czy są one prawdziwe, czy mylące. Jeśli zamiast tego wytrenujemy nasze modele tak, aby pamiętały tylko rzeczywiste wzorce — te faktycznie powiązane ze znaczeniem pikseli — teoretycznie możliwe byłoby wytworzenie systemów głębokiego uczenia się, których nie można by w ten sposób wypaczać w celu wyrządzenia szkody.

Kiedy badacze przetestowali ten pomysł, używając tylko rzeczywistych korelacji do trenowania swojego modelu, w rzeczywistości złagodziło to podatność modelu: z powodzeniem manipulowano nim tylko w 50% przypadków, podczas gdy model szkolony zarówno na rzeczywistych, jak i fałszywych korelacjach można było manipulować 95 % czasu.

Innymi słowy, wydaje się, że przykłady kontradyktoryjności nie są nieuniknione. Ale potrzebujemy więcej badań, aby całkowicie je wyeliminować.

Ta historia pierwotnie pojawiła się w naszym nominowanym przez Webby biuletynie AI The Algorithm. Aby więcej takich artykułów trafiało bezpośrednio do Twojej skrzynki odbiorczej, zarejestruj się tutaj. Jest wolne.

ukryć