Sztuczną inteligencję wojskową można łatwo i niebezpiecznie oszukać

Żółw i karabin zdjęcia getty

W marcu ubiegłego roku chińscy naukowcy ogłosili pomysłowy i potencjalnie niszczycielski atak na jeden z najbardziej cenionych aktywów technologicznych Ameryki – samochód elektryczny Tesla.

Zespół z laboratorium bezpieczeństwa chińskiego giganta technologicznego Tencent zademonstrował kilka sposobów na oszukanie algorytmów sztucznej inteligencji w samochodzie Tesli. Subtelnie zmieniając dane przekazywane do czujników samochodu, naukowcy byli w stanie oszukać sztuczną inteligencję, która steruje pojazdem.

Ta historia była częścią naszego wydania z listopada 2019 r.

• Zobacz resztę numeru
• Subskrybuj

W jednym przypadku ekran telewizora zawierał ukryty wzór, który skłonił wycieraczki do aktywacji. W innym, oznaczenia pasów na drodze zostały nieznacznie zmodyfikowane, aby zmylić autonomiczny system jazdy tak, że przejeżdżał nad nimi i wjeżdżał na pas dla nadjeżdżających pojazdów.

Algorytmy Tesli są zwykle genialne w dostrzeganiu kropli deszczu na przedniej szybie lub podążaniu za liniami na drodze, ale działają w sposób zasadniczo odmienny od ludzkiej percepcji. To sprawia, że ​​takie algorytmy głębokiego uczenia, które szybko przechodzą przez różne branże w zastosowaniach takich jak rozpoznawanie twarzy i diagnostyka raka, są zaskakująco łatwe do oszukania, jeśli znajdziesz ich słabe punkty.

Sprowadzenie na manowce Tesli może nie wydawać się strategicznym zagrożeniem dla Stanów Zjednoczonych. Ale co by było, gdyby podobne techniki zostały użyte do oszukania dronów atakujących lub oprogramowania analizującego obrazy satelitarne, tak aby widziały rzeczy, których nie ma — lub nie widziały rzeczy, które są?

Zbieranie sztucznej inteligencji

Na całym świecie sztuczna inteligencja jest już postrzegana jako kolejna duża przewaga militarna.

Na początku tego roku Stany Zjednoczone ogłosiły wielką strategię wykorzystania sztucznej inteligencji w wielu obszarach wojska, w tym analizy wywiadowczej, podejmowania decyzji, autonomii pojazdów, logistyki i uzbrojenia. Zaproponowany przez Departament Obrony budżet w wysokości 718 miliardów dolarów na 2020 r. przeznacza 927 milionów dolarów na sztuczną inteligencję i uczenie maszynowe. Istniejące projekty obejmują raczej przyziemne (testowanie, czy sztuczna inteligencja może przewidzieć, kiedy czołgi i ciężarówki wymagają konserwacji), a także rzeczy w czołówce technologii broni (roje dronów).

Sztuczna inteligencja Pentagonu jest częściowo napędzana strachem przed tym, w jaki sposób rywale mogą korzystać z tej technologii. W ubiegłym roku Jim Mattis, ówczesny sekretarz obrony, wysłał notatkę do prezydenta Donalda Trumpa, ostrzegając, że Stany Zjednoczone już są w tyle, jeśli chodzi o sztuczną inteligencję. Jego zmartwienie jest zrozumiałe.

W lipcu 2017 r. Chiny sformułowały swoją strategię AI, oświadczając, że główne kraje rozwinięte na świecie przyjmują rozwój sztucznej inteligencji jako główną strategię mającą na celu zwiększenie konkurencyjności narodowej i ochronę bezpieczeństwa narodowego. A kilka miesięcy później Władimir Putin z Rosji złowieszczo oświadczył: Kto zostanie przywódcą w sferze [AI], zostanie władcą świata.

Ambicja stworzenia najmądrzejszej i najbardziej zabójczej broni jest zrozumiała, ale jak pokazuje hack Tesli, wróg, który wie, jak działa algorytm sztucznej inteligencji, może uczynić go bezużytecznym, a nawet obrócić go przeciwko właścicielom. Sekret wygrania wojen AI może leżeć nie w tworzeniu najbardziej imponujących broni, ale w opanowaniu niepokojącej zdrady oprogramowania.

Boty bojowe

W jasny i słoneczny dzień zeszłego lata w Waszyngtonie Michael Kanaan siedział w stołówce Pentagonu, jedząc kanapkę i podziwiając nowy, potężny zestaw algorytmów uczenia maszynowego.

Kilka tygodni wcześniej Kanaan obejrzał grę wideo, w której pięć algorytmów sztucznej inteligencji współpracowało ze sobą, by prawie wymanewrować, przechytrzyć i przechytrzyć pięciu ludzi w konkursie obejmującym kontrolowanie sił, obozowisk i zasobów na złożonym, rozległym polu bitwy. Jednak brwi pod przyciętymi blond włosami Kanaana były zmarszczone, gdy opisywał to działanie. Była to jedna z najbardziej imponujących demonstracji strategii AI, jaką kiedykolwiek widział, nieoczekiwany rozwój podobny do postępów AI w szachach, Atari i innych grach.

Gra wojenna miała miejsce w Dota 2, popularnej grze wideo science-fiction, która jest niesamowicie wymagająca dla komputerów. Drużyny muszą bronić swojego terytorium podczas atakowania obozowisk przeciwników w środowisku, które jest bardziej złożone i zwodnicze niż jakakolwiek gra planszowa. Gracze widzą tylko niewielką część całego obrazu, a ustalenie, czy strategia jest zwycięska, może zająć około pół godziny.

Bojownicy AI zostali stworzeni nie przez wojsko, ale przez OpenAI, firmę stworzoną przez bigwigów z Doliny Krzemowej, w tym Elona Muska i Sama Altmana, w celu przeprowadzenia podstawowych badań nad sztuczną inteligencją. Algorytmiczni wojownicy firmy, znani jako OpenAI Five, opracowali własne strategie wygrywania poprzez nieustanną praktykę i reagowanie ruchami, które okazały się najbardziej korzystne.

Pociski kierowane przez sztuczną inteligencję mogą zostać oślepione przez dane przeciwnika, a być może nawet skierowane z powrotem na przyjazne cele.

Jest to dokładnie ten rodzaj oprogramowania, który intryguje Kanaana, jedną z osób, której zadaniem jest wykorzystanie sztucznej inteligencji do modernizacji amerykańskiej armii. Według niego pokazuje, co może zyskać wojsko, korzystając z pomocy najlepszych na świecie badaczy sztucznej inteligencji. Ale to, czy są chętni, jest coraz bardziej kwestionowane.

Kanaan był szefem sił powietrznych w Project Maven, inicjatywie wojskowej mającej na celu wykorzystanie sztucznej inteligencji do automatyzacji identyfikacji obiektów na zdjęciach lotniczych. Google był wykonawcą Mavena, a kiedy inni pracownicy Google dowiedzieli się o tym, w 2018 roku firma zdecydowała się porzucić projekt. Następnie opracował kodeks postępowania AI, mówiący, że Google nie będzie wykorzystywał swojej sztucznej inteligencji do opracowywania broni lub innych technologii, których głównym celem lub wdrożeniem jest powodowanie lub bezpośrednie ułatwianie obrażeń ludziom.

Pracownicy kilku innych dużych firm technologicznych, a następnie zażądali, aby ich pracodawcy zrezygnowali z kontraktów wojskowych. Wielu wybitnych badaczy sztucznej inteligencji poparło wysiłki na rzecz zainicjowania globalnego zakazu opracowywania w pełni autonomicznej broni.

Jednak dla Kanaana byłby to duży problem, gdyby wojsko nie mogło współpracować z badaczami takimi jak ci, którzy opracowali OpenAI Five. Jeszcze bardziej niepokojąca jest perspektywa uzyskania przez przeciwnika dostępu do tak nowoczesnej technologii. Powiedział, że kod jest dostępny dla każdego. Dodał: wojna jest o wiele bardziej złożona niż jakaś gra wideo.

Pięć algorytmów współpracuje ze sobą, aby przechytrzyć pięciu ludzi w grze wideo Dota 2 na polu bitwy.

Fala sztucznej inteligencji

Kanaan jest ogólnie bardzo uparty w kwestii sztucznej inteligencji, częściowo dlatego, że wie z pierwszej ręki, jak przydatne może być to dla żołnierzy. Sześć lat temu, jako oficer wywiadu sił powietrznych w Afganistanie, był odpowiedzialny za wdrożenie nowego rodzaju narzędzia do zbierania danych wywiadowczych: urządzenia do obrazowania hiperspektralnego. Instrument może wykrywać obiekty, które normalnie są niewidoczne, takie jak czołgi ubrane w kamuflaż lub emisje z zaimprowizowanej fabryki bomb. Kanaan mówi, że system pomógł żołnierzom amerykańskim usunąć z pola bitwy wiele tysięcy funtów materiałów wybuchowych. Mimo to często niepraktyczne było przetwarzanie przez analityków ogromnych ilości danych gromadzonych przez urządzenie do obrazowania. Spędziliśmy zbyt dużo czasu na przeglądaniu danych, a za mało na podejmowaniu decyzji – mówi. Czasami trwało to tak długo, że zastanawiałeś się, czy mógłbyś uratować więcej istnień ludzkich.

Rozwiązaniem może być przełom w wizji komputerowej dokonany przez zespół kierowany przez Geoffreya Hintona z Uniwersytetu w Toronto. Okazało się, że algorytm inspirowany wielowarstwową siecią neuronową potrafił rozpoznawać obiekty na obrazach z niespotykaną wcześniej umiejętnością, gdy otrzymał wystarczającą ilość danych i moc komputera.

Uczenie sieci neuronowej obejmuje wprowadzanie danych, takich jak piksele na obrazie, i ciągłe zmienianie połączeń w sieci za pomocą technik matematycznych, tak aby dane wyjściowe zbliżyły się do określonego wyniku, na przykład identyfikacji obiektu na obrazie. Z biegiem czasu te sieci głębokiego uczenia się uczą się rozpoznawać wzorce pikseli, które tworzą domy lub ludzi. Postępy w głębokim uczeniu się wywołały obecny boom AI; technologia stanowi podstawę autonomicznych systemów Tesli i algorytmów OpenAI.

Kanaan natychmiast dostrzegł potencjał głębokiego uczenia w przetwarzaniu różnego rodzaju obrazów i danych z czujników, które są niezbędne w operacjach wojskowych. On i inni w Siłach Powietrznych wkrótce zaczęli lobbować swoich przełożonych, aby zainwestowali w technologię. Ich wysiłki przyczyniły się do dużego nacisku AI Pentagonu.

Ale wkrótce po tym, jak na scenie pojawiło się głębokie uczenie, naukowcy odkryli, że same właściwości, które sprawiają, że jest tak potężny, są również piętą achillesową.

Tak jak można obliczyć, jak dostosować parametry sieci, aby poprawnie klasyfikowała obiekt, można obliczyć, jak minimalne zmiany w obrazie wejściowym mogą spowodować błędną klasyfikację sieci. W takich przeciwstawnych przykładach zmienia się tylko kilka pikseli obrazu, dzięki czemu wygląda on tak samo dla osoby, ale bardzo różni się od algorytmu sztucznej inteligencji. Problem może pojawić się wszędzie tam, gdzie można zastosować głębokie uczenie — na przykład w kierowaniu pojazdami autonomicznymi, planowaniu misji lub wykrywaniu włamań do sieci.

Wśród nagromadzenia wojskowych zastosowań sztucznej inteligencji, te tajemnicze luki w oprogramowaniu cieszą się znacznie mniejszą uwagą.

Ruchome cele

Jeden niezwykły obiekt służy do zilustrowania siły kontradyktoryjnego uczenia maszynowego. To modelowy żółw.

Dla ciebie lub dla mnie wygląda to normalnie, ale dla drona lub robota obsługującego konkretny algorytm głębokiego uczenia się wydaje się to… karabinem. W osobnym projekcie naukowcy wykorzystali obrazy 2D, aby system wizyjny AI udostępniony za pośrednictwem chmury Google pomylił go z czymkolwiek. (Od tego czasu Google zaktualizował algorytm, aby nie dał się oszukać).

Żółw został stworzony nie przez jakiegoś przeciwnika z państwa narodowego, ale przez czterech facetów z MIT. Jednym z nich jest Anish Athalye, chudy i bardzo uprzejmy młody człowiek, który pracuje nad bezpieczeństwem komputerowym w Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL). W filmie o laptopie Athalye, na którym testowane są żółwie (niektóre modele zostały skradzione podczas konferencji, mówi), jest on obrócony o 360 stopni i odwrócony do góry nogami. Algorytm wykrywa w kółko to samo: karabin, karabin, karabin.

Najwcześniejsze przykłady przeciwników były kruche i podatne na niepowodzenie, ale Athalye i jego przyjaciele wierzyli, że mogą zaprojektować wersję wystarczająco solidną, aby pracować na obiekcie wydrukowanym w 3D. Wiązało się to z modelowaniem renderowania obiektów 3D i opracowaniem algorytmu do stworzenia żółwia, przykładu przeciwnika, który działałby pod różnymi kątami i odległościami. Mówiąc prościej, opracowali algorytm, aby stworzyć coś, co niezawodnie oszuka model uczenia maszynowego.

Zastosowania wojskowe są oczywiste. Używając kamuflażu algorytmicznego przeciwnika, czołgi lub samoloty mogą ukrywać się przed satelitami i dronami wyposażonymi w sztuczną inteligencję. Pociski kierowane przez sztuczną inteligencję mogą zostać oślepione przez dane przeciwnika, a być może nawet skierowane z powrotem na przyjazne cele. Informacje wprowadzane do algorytmów wywiadowczych mogą zostać zatrute, aby ukryć zagrożenie terrorystyczne lub zastawić pułapkę na wojska w prawdziwym świecie.

Athalye jest zaskoczony tym, jak mało niepokoi się o wrogie uczenie maszynowe, z jakim się spotkał. Rozmawiałem z grupą ludzi z branży i zapytałem ich, czy martwią się o wrogie przykłady. Odpowiedź brzmi, prawie na całym świecie, nie, mówi, ponieważ firmy koncentrują się na tym, aby ich systemy sztucznej inteligencji działały jako ich najwyższy priorytet.

Na szczęście Pentagon zaczyna to zauważać. W sierpniu tego roku Agencja Zaawansowanych Projektów Badawczych Obrony (DARPA) ogłosiła kilka dużych projektów badawczych dotyczących sztucznej inteligencji. Wśród nich jest GARD, program skoncentrowany na uczeniu maszynowym kontradyktoryjności. Hava Siegelmann, profesor na Uniwersytecie Massachusetts w Amherst i kierownik programu GARD, mówi, że ataki te mogą być niszczycielskie w sytuacjach wojskowych, ponieważ ludzie nie mogą ich zidentyfikować. To tak, jakbyśmy byli ślepi, mówi. To sprawia, że ​​jest to naprawdę bardzo niebezpieczne.

Wyzwania stawiane przez wrogie uczenie maszynowe wyjaśniają również, dlaczego Pentagon tak chętnie współpracuje z firmami takimi jak Google i Amazon, a także instytucjami akademickimi, takimi jak MIT. Technologia rozwija się szybko, a najnowsze osiągnięcia znajdują zastosowanie w laboratoriach prowadzonych przez firmy z Doliny Krzemowej i najlepsze uniwersytety, a nie przez konwencjonalnych wykonawców w dziedzinie obronności.

Co najważniejsze, dzieje się to również poza Stanami Zjednoczonymi, szczególnie w Chinach. Myślę, że nadchodzi inny świat, mówi Kanaan, ekspert AI Sił Powietrznych. I to jest jeden, z którym musimy walczyć za pomocą sztucznej inteligencji.

Sprzeciw wobec wojskowego wykorzystania sztucznej inteligencji jest zrozumiały, ale może przeoczyć szerszy obraz. Nawet jeśli ludzie martwią się inteligentnymi robotami-zabójcami, być może większym ryzykiem w najbliższym czasie jest algorytmiczna mgła wojny – taka, przez którą nie mogą zajrzeć nawet najmądrzejsze maszyny.

Will Knight do niedawna był starszym redaktorem ds. AI w MIT Technology Review, a teraz pracuje w Wired.

ukryć