Musimy zaprojektować nieufność do systemów AI, aby były bezpieczniejsze

dzięki uprzejmości ACM

Ayanna Howard zawsze starała się wykorzystywać roboty i sztuczną inteligencję, aby pomagać ludziom. W ciągu swojej prawie 30-letniej kariery zbudowała niezliczoną ilość robotów: do eksploracji Marsa, do sprzątania niebezpiecznych odpadów i do pomocy dzieciom ze specjalnymi potrzebami. W trakcie tego procesu opracowała imponujący zestaw technik manipulacji robotami, autonomicznej nawigacji i widzenia komputerowego. Jest liderem w badaniu powszechnego błędu popełnianego przez ludzi: zbytnio ufamy zautomatyzowanym systemom.

12 maja Association for Computing Machinery przyznało Howardowi tegoroczną nagrodę Athena Lecturer Award, przyznawaną kobietom, które wniosły fundamentalny wkład w informatykę. Organizacja uhonorowała nie tylko imponującą listę osiągnięć naukowych Howarda, ale także jej pasję i zaangażowanie w oddawanie się swojej społeczności. Odkąd jest uznaną technologiem, stworzyła i prowadziła wiele programów mających na celu zwiększenie udziału i retencji młodych kobiet i mniejszości niedoreprezentowanych w tej dziedzinie.

W marcu, po 16 latach pracy na stanowisku profesora w Georgia Institute of Technology, rozpoczęła nowe stanowisko dziekana Kolegium Inżynierskiego na Ohio State University. Jest pierwszą kobietą na tym stanowisku. W dniu, w którym otrzymała nagrodę ACM, rozmawiałem z Howard o jej karierze i najnowszych badaniach.

Poniższe zostały zredagowane pod kątem długości i przejrzystości.

Zauważyłem, że do opisu swoich badań używasz terminu „humanizowana inteligencja”, a nie „sztuczna inteligencja”. Dlaczego?

Tak, zacząłem używać tego w artykule w 2004 roku. Zastanawiałem się, dlaczego pracujemy nad inteligencją dla robotyki i systemów sztucznej inteligencji. Nie chodzi o to, że chcemy tworzyć te inteligentne funkcje poza naszymi interakcjami z ludźmi. Motywuje nas ludzkie doświadczenie, ludzkie dane, ludzkie dane wejściowe. Sztuczna inteligencja sugeruje, że jest to inny rodzaj inteligencji, podczas gdy inteligencja humanizowana mówi, że jest inteligentna, ale motywowana ludzką konstrukcją. A to oznacza, że ​​kiedy tworzymy te systemy, zapewniamy również, że mają one również niektóre z naszych wartości społecznych.

Jak dostałeś się do tej pracy?

Było to motywowane przede wszystkim moimi badaniami doktorskimi. W tym czasie pracowałem nad szkoleniem manipulatora robota do usuwania zagrożeń w szpitalu. To było w czasach, kiedy nie było tych miłych, bezpiecznych miejsc do zakładania igieł. Igły wrzucano do tych samych śmieci, co wszystko inne i zdarzały się przypadki, gdy pracownicy szpitala zachorowali. Zastanawiałem się więc: Jak projektować roboty, które pomagają w tym środowisku?

Tak więc bardzo wcześnie chodziło o budowanie robotów przydatnych dla ludzi. Potwierdzało to, że nie wiedzieliśmy, jak zbudować roboty, które bardzo dobrze wykonują niektóre z tych zadań. Ale ludzie robią to cały czas, więc naśladujmy, jak to robią. Tak to się zaczęło.

Potem pracowałem z NASA i zastanawiałem się nad przyszłą nawigacją łazika marsjańskiego. I znowu było tak: Naukowcy potrafią to robić naprawdę, naprawdę dobrze. Poprosiłbym więc naukowców, aby zdalnie sterowali tymi łazikami i patrzyli na to, co widzieli w kamerach tych łazików, a następnie próbowali na tej podstawie skorelować sposób, w jaki jeżdżą. To był zawsze temat: dlaczego po prostu nie pójdę do ludzkich ekspertów, zakoduję, co robią w algorytmie, a następnie sprawię, że robot to zrozumie?

Czy wtedy inni ludzie myśleli i rozmawiali o sztucznej inteligencji i robotyce w ten skoncentrowany na człowieku sposób? A może byłeś dziwnym odstaniem?

Och, byłam totalnie dziwna. Patrzyłem na rzeczy inaczej niż wszyscy. A wtedy nie było przewodnika, jak prowadzić tego rodzaju badania. W rzeczywistości, kiedy teraz patrzę wstecz na to, jak przeprowadziłem badania, zrobiłbym to zupełnie inaczej. Jest całe to doświadczenie i wiedza, które od tego czasu pojawiły się w terenie.

W którym momencie przeszedłeś od myślenia o budowaniu robotów, które pomagają ludziom, do myślenia bardziej o związku między robotami a ludźmi?

Było to w dużej mierze motywowane przez ten badanie zrobiliśmy na ewakuacji awaryjnej i zaufaniu robota. Chcieliśmy zobaczyć, czy ludzie w sytuacji wysokiego ryzyka i krytycznej czasowo będą ufać prowadzeniu robota? Więc zabraliśmy ludzi do opuszczonego biurowca poza kampusem i wpuścił ich robot-przewodnik. Wymyśliliśmy historię o robocie i o tym, jak musieli wypełnić ankietę – tego typu rzeczy. Kiedy tam byli, wypełniliśmy budynek dymem i uruchomiliśmy alarm przeciwpożarowy.

Chcieliśmy więc zobaczyć, kiedy wychodzą, czy udadzą się do drzwi wejściowych, czy skierują się do znaku wyjścia, czy też podążą za wskazówkami robota prowadzącego ich w innym kierunku?

Pomyśleliśmy, że ludzie pójdą do drzwi wejściowych, ponieważ w ten sposób weszli, a wcześniejsze badania wykazały, że gdy ludzie znajdują się w sytuacji awaryjnej, zwykle udają się tam, gdzie są znajomi. Albo myśleliśmy, że podążą za znakami wyjścia, ponieważ jest to wytrenowane zachowanie. Ale uczestnicy nie nie Zrób to. W rzeczywistości podążają za wskazówkami robota.

Potem wprowadziliśmy kilka błędów. Zepsuliśmy robota, kręciliśmy się w kółko, kazał zaprowadzić cię w kierunku, który wymagał przesunięcia mebli. Pomyśleliśmy, że w pewnym momencie człowiek powie: „Pozwól mi iść do drzwi wejściowych, albo pozwól mi iść do znaku wyjścia właśnie tam”. Zajęło nam to dosłownie do samego końca, zanim ludzie przestali podążać za wskazówkami robota.

To był pierwszy raz, kiedy nasze hipotezy były całkowicie błędne. To było tak, że nie mogę uwierzyć, że ludzie ufają takiemu systemowi. To ciekawe i fascynujące, a to jest problem.

Czy od czasu tego eksperymentu widziałeś, jak to zjawisko jest replikowane w prawdziwym świecie?

Za każdym razem, gdy widzę wypadek Tesli. Zwłaszcza te wcześniejsze. Pomyślałem: Tak, jest. Ludzie za bardzo ufają tym systemom. I pamiętam po pierwszym, co oni zrobili? Byli jak, teraz musisz trzymać kierownicę przez około pięć sekund. Jeśli nie będziesz trzymać dłoni na kierownicy, system wyłączy się.

Ale wiesz, nigdy nie przyszli i nie porozmawiali ze mną ani z moją grupą, ponieważ to nie zadziała. A to nie działa, ponieważ bardzo łatwo jest ograć system. Jeśli patrzysz na swój telefon komórkowy, a potem słyszysz sygnał dźwiękowy, po prostu podnosisz rękę, prawda? To podświadomość. Nadal nie zwracasz uwagi. A to dlatego, że uważasz, że system jest w porządku i nadal możesz robić to, co robiłeś — czytać książkę, oglądać telewizję lub patrzeć na telefon. Więc to nie działa, ponieważ nie zwiększyły poziomu ryzyka, niepewności, niedowierzania lub nieufności. Nie zwiększyli tego na tyle, aby ktoś ponownie się zaangażował.

Powiązana historia

Kiedy algorytmy się psują, winę ponosi najbliższy człowiek Spojrzenie na historyczne studia przypadków pokazuje nam, jak radzimy sobie z odpowiedzialnością systemów automatycznych.

Interesujące jest to, że mówisz o tym, jak w tego rodzaju scenariuszach musisz aktywnie projektować nieufność do systemu, aby był bezpieczniejszy.

Tak, to właśnie musisz zrobić. Właściwie próbujemy teraz eksperymentować wokół idei odmowy usługi. Nie mamy jeszcze wyników i zmagamy się z pewnymi problemami etycznymi. Ponieważ kiedy o tym porozmawiamy i opublikujemy wyniki, będziemy musieli wyjaśnić, dlaczego czasami możesz nie chcieć dać AI możliwości odmowy usługi. Jak usunąć usługę, jeśli ktoś naprawdę jej potrzebuje?

Ale oto przykład z nieufnością do Tesli. Odmowa usługi to: tworzę profil twojego zaufania, który mogę zrobić na podstawie tego, ile razy dezaktywowałeś lub odłączyłeś się od trzymania kierownicy. Biorąc pod uwagę te profile braku zaangażowania, mogę następnie wymodelować, w którym momencie jesteś w pełni w tym stanie zaufania. Zrobiliśmy to nie z danymi Tesli, ale z naszymi własnymi danymi. I w pewnym momencie, następnym razem, gdy wejdziesz do samochodu, otrzymasz odmowę usługi. Nie masz dostępu do systemu przez X czas.

To prawie tak, jak karzesz nastolatka, zabierając mu telefon. Wiesz, że nastolatki nie zrobią tego, czego nie chciałeś, aby zrobili, jeśli połączysz to z ich sposobem komunikacji.

Jakie są inne mechanizmy, które zbadałeś, aby zwiększyć nieufność do systemów?

Inna metodologia, którą zbadaliśmy, jest z grubsza nazywana wytłumaczalną sztuczną inteligencją, w której system zapewnia wyjaśnienie w odniesieniu do niektórych zagrożeń lub niepewności. Ponieważ wszystkie te systemy mają niepewność – żaden z nich nie jest w 100%. A system wie, kiedy jest niepewny. Może więc dostarczyć informacji w sposób zrozumiały dla człowieka, dzięki czemu ludzie zmienią swoje zachowanie.

Załóżmy na przykład, że jestem samojezdnym samochodem, mam wszystkie informacje z mapy i wiem, że niektóre skrzyżowania są bardziej podatne na wypadki niż inne. Gdy zbliżamy się do jednego z nich, powiedziałbym, że zbliżamy się do skrzyżowania, na którym w zeszłym roku zginęło 10 osób. Wyjaśniasz to w taki sposób, że to sprawia, że ​​ktoś idzie, Och, czekaj, może powinienem być bardziej świadomy.

Omówiliśmy już niektóre z Twoich obaw związanych z naszą tendencją do nadmiernego zaufania do tych systemów. Jakie są inne? Z drugiej strony, czy są też korzyści?

Negatywy są naprawdę powiązane z uprzedzeniami. Dlatego zawsze mówię zamiennie o uprzedzeniach i zaufaniu. Ponieważ jeśli nadmiernie ufam tym systemom, a te systemy podejmują decyzje, które mają różne skutki dla różnych grup osób — powiedzmy, system diagnostyki medycznej różni kobiety i mężczyzn — tworzymy teraz systemy, które zwiększają obecne nierówności . To jest problem. A kiedy połączysz to z rzeczami związanymi ze zdrowiem lub transportem, z których oba mogą prowadzić do sytuacji życia lub śmierci, zła decyzja może w rzeczywistości doprowadzić do czegoś, z czego nie możesz się wyleczyć. Więc naprawdę musimy to naprawić.

Pozytywy są takie, że zautomatyzowane systemy są lepsze niż ludzie w ogóle. Myślę, że mogą być parzysty lepiej, ale ja osobiście wolę wchodzić w interakcje z systemem AI w niektórych sytuacjach niż z niektórymi ludźmi w innych sytuacjach. Na przykład wiem, że ma pewne problemy, ale daj mi sztuczną inteligencję. Daj mi robota. Mają więcej danych; są dokładniejsze. Zwłaszcza jeśli masz nowicjusza. To lepszy wynik. Możliwe, że wynik nie jest równy.

Oprócz badań nad robotyką i sztuczną inteligencją byłeś wielkim zwolennikiem zwiększania różnorodności w tej dziedzinie przez całą swoją karierę. Rozpoczęłaś program mentoringu zagrożonych gimnazjalistów 20 lat temu, czyli na długo przed tym, jak wiele osób zastanawiało się nad tym problemem. Dlaczego jest to ważne dla Ciebie i dlaczego jest to również ważne dla pola?

Jest to dla mnie ważne, ponieważ potrafię zidentyfikować momenty w moim życiu, w których ktoś zasadniczo zapewnił mi dostęp do inżynierii i informatyki. Nawet nie wiedziałem, że to rzecz. I właśnie dlatego później nigdy nie miałem problemu ze świadomością, że dam radę. Dlatego zawsze czułem, że moim obowiązkiem jest zrobić to samo dla tych, którzy zrobili to dla mnie. Gdy dorosłam, zauważyłam, że w pokoju było wiele osób, które nie wyglądały jak ja. Więc zdałem sobie sprawę: czekaj, zdecydowanie jest tu problem, ponieważ ludzie po prostu nie mają wzorów do naśladowania, nie mają dostępu, nawet nie wiedzą, że to jest rzecz.

I dlaczego jest to ważne w tej dziedzinie, ponieważ każdy ma inne doświadczenie. Tak jak myślałem o interakcji człowieka z robotem, zanim to się stało. Nie dlatego, że byłem genialny. To dlatego, że inaczej spojrzałem na problem. A kiedy rozmawiam z kimś, kto ma inny punkt widzenia, to jest jak: Och, spróbujmy połączyć i znaleźć to, co najlepsze z obu światów.

Poduszki powietrzne zabijają więcej kobiet i dzieci. Dlaczego? Cóż, powiem, że to dlatego, że kogoś nie było w pokoju, aby powiedzieć: Hej, dlaczego nie przetestować tego na kobietach na przednim siedzeniu? Istnieje wiele problemów, które zabiły lub były niebezpieczne dla niektórych grup ludzi. I powiedziałbym, że jeśli wrócisz, to dlatego, że nie miałeś wystarczająco dużo ludzi, którzy mogliby powiedzieć Hej, pomyślałeś o tym? ponieważ rozmawiają z własnego doświadczenia oraz ze swojego środowiska i społeczności.

Jak masz nadzieję, że badania nad sztuczną inteligencją i robotyką będą ewoluować z biegiem czasu? Jaka jest Twoja wizja pola?

Jeśli myślisz o kodowaniu i programowaniu, prawie każdy może to zrobić. Jest teraz tak wiele organizacji jak Code.org. Dostępne są zasoby i narzędzia. Chętnie porozmawiam kiedyś z uczniem i zapytam: Czy wiesz o sztucznej inteligencji i uczeniu maszynowym? i mówią, dr H, robię to od trzeciej klasy! Chcę być w takim szoku, bo to byłoby cudowne. Oczywiście wtedy musiałbym pomyśleć o tym, jaka jest moja następna praca, ale to już zupełnie inna historia.

Ale myślę, że kiedy masz narzędzia z kodowaniem, sztuczną inteligencją i uczeniem maszynowym, możesz tworzyć własne miejsca pracy, możesz tworzyć własną przyszłość, możesz tworzyć własne rozwiązania. To byłoby moje marzenie.

ukryć