Dlaczego proszenie AI o wyjaśnienie może pogorszyć sytuację

Frogger zaraz zacznie mówić MS Tech / Getty

Upol Ehsan odbył kiedyś jazdę próbną samojezdnym samochodem Ubera. Zamiast martwić się pustym siedzeniem kierowcy, niespokojnych pasażerów zachęcano do oglądania ekranu ze smoczka, który pokazywał widok drogi z perspektywy samochodu: zagrożenia zaznaczone na pomarańczowo i czerwono, bezpieczne strefy w chłodnym niebieskim kolorze.

Do Ehsan , który bada sposób, w jaki ludzie wchodzą w interakcję ze sztuczną inteligencją w Georgia Institute of Technology w Atlancie, zamierzony przekaz był jasny: nie daj się przestraszyć — właśnie dlatego samochód robi to, co robi. Ale coś w obco wyglądającej scenie ulicznej raczej podkreślało dziwność tego doświadczenia niż uspokajało. To sprawiło, że Ehsan pomyślał: co by było, gdyby autonomiczny samochód naprawdę mógł się wytłumaczyć?

Sukces głębokiego uczenia wynika z majsterkowania: najlepsze sieci neuronowe są ulepszane i dostosowywane, aby tworzyć lepsze, a praktyczne wyniki wyprzedziły teoretyczne zrozumienie. W rezultacie szczegóły działania wytrenowanego modelu są zwykle nieznane. Zaczęliśmy myśleć o nich jako o czarnych skrzynkach.

Często zgadzamy się z tym, jeśli chodzi o takie rzeczy, jak granie w Go, tłumaczenie tekstu lub wybieranie następnego programu Netflix, na który można się uganiać. Ale jeśli sztuczna inteligencja ma być wykorzystywana do podejmowania decyzji w organach ścigania, diagnostyce medycznej i samochodach bez kierowcy, musimy zrozumieć, w jaki sposób podejmuje te decyzje – i wiedzieć, kiedy są one błędne.

Ludzie potrzebują mocy, aby nie zgodzić się lub odrzucić zautomatyzowaną decyzję, mówi Iris Howley , informatyk w Williams College w Williamstown w stanie Massachusetts. Bez tego ludzie będą sprzeciwiać się technologii. Widać to w tej chwili w reakcji opinii publicznej na systemy rozpoznawania twarzy, mówi.

Ehsan jest częścią małej, ale rosnącej grupy badaczy, którzy starają się, aby sztuczna inteligencja lepiej tłumaczyła się, aby pomóc nam zajrzeć do wnętrza czarnej skrzynki. Celem tak zwanej interpretowalnej lub możliwej do wyjaśnienia sztucznej inteligencji (XAI) jest pomoc ludziom w zrozumieniu, jakich funkcji w danych faktycznie uczy się sieć neuronowa — a tym samym, czy uzyskany model jest dokładny i bezstronny.

Jednym z rozwiązań jest zbudowanie systemów uczenia maszynowego, które pokazują ich działanie: tak zwanej glassbox — w przeciwieństwie do czarnej skrzynki — AI. Modele Glassbox są zazwyczaj znacznie uproszczonymi wersjami sieci neuronowej, w których łatwiej jest śledzić wpływ różnych danych na model.

W społeczności są ludzie, którzy opowiadają się za używaniem modeli szklanych pudełek w dowolnych warunkach, mówi Jennifer Wortman Vaughan , informatyk w Microsoft Research. W dużej mierze się zgadzam. Proste modele glassbox mogą działać równie dobrze, jak bardziej skomplikowane sieci neuronowe na niektórych typach danych strukturalnych, takich jak tabele statystyczne. W przypadku niektórych aplikacji to wszystko, czego potrzebujesz.

Ale to zależy od domeny. Jeśli chcemy uczyć się na bałaganiarskich danych, takich jak obrazy lub tekst, utknęliśmy w głębokich, a tym samym nieprzejrzystych sieciach neuronowych. Zdolność tych sieci do narysowania znaczących połączeń między bardzo dużą liczbą odmiennych cech jest związana z ich złożonością.

Nawet tutaj uczenie maszynowe Glassbox może pomóc. Jednym z rozwiązań jest wykonanie dwóch przejść na danych, trenowanie niedoskonałego modelu glassbox jako kroku debugowania w celu wykrycia potencjalnych błędów, które możesz chcieć poprawić. Po oczyszczeniu danych można trenować dokładniejszy model czarnoskrzynkowy.

Jest to jednak trudna równowaga. Zbyt duża przejrzystość może prowadzić do przeładowania informacjami. W 2018 stadnina Y patrząc na sposób interakcji użytkowników niebędących ekspertami z narzędziami uczenia maszynowego, Vaughan odkrył, że przejrzyste modele mogą w rzeczywistości utrudnić wykrywanie i korygowanie błędów modelu.

Innym podejściem jest uwzględnienie wizualizacji, które pokazują kilka kluczowych właściwości modelu i jego danych źródłowych. Chodzi o to, że na pierwszy rzut oka widać poważne problemy. Na przykład model może zbytnio polegać na pewnych funkcjach, co może sygnalizować stronniczość.

Te narzędzia do wizualizacji okazały się niezwykle popularne w krótkim czasie, w jakim były dostępne. Ale czy naprawdę pomagają? w pierwsze tego typu badanie , Vaughan i jej zespół próbowali się tego dowiedzieć — i ujawnili kilka poważnych problemów.

Zespół wykorzystał dwa popularne narzędzia do interpretacji, które dają przegląd modelu za pomocą wykresów i wykresów danych, podkreślając rzeczy, które model uczenia maszynowego najczęściej wychwytywał podczas szkolenia. Z firmy Microsoft zrekrutowano jedenastu specjalistów AI, różniących się wykształceniem, stanowiskami pracy i doświadczeniem. Wzięli udział w symulowanej interakcji z modelem uczenia maszynowego wyszkolonym na zbiorze danych dotyczących dochodu narodowego zaczerpniętych ze spisu powszechnego w USA z 1994 roku. Eksperyment został zaprojektowany specjalnie w celu naśladowania sposobu, w jaki naukowcy zajmujący się danymi wykorzystują narzędzia do interpretacji w zadaniach, z którymi mają do czynienia rutynowo.

To, co znalazł zespół, było uderzające. Jasne, narzędzia czasami pomogły ludziom wykryć brakujące wartości w danych. Ale ta użyteczność została przyćmiona przez tendencję do nadmiernego zaufania i błędnego odczytywania wizualizacji. W niektórych przypadkach użytkownicy nie potrafili nawet opisać, co pokazywały wizualizacje. Doprowadziło to do błędnych założeń dotyczących zbioru danych, modeli i samych narzędzi interpretacyjnych. Zaszczepiło to fałszywe zaufanie do narzędzi, które sprawiły, że uczestnicy byli bardziej entuzjastyczni we wdrażaniu modeli, nawet jeśli czuli, że coś jest nie tak. Co niepokojące, było to prawdą nawet wtedy, gdy dane wyjściowe zostały zmanipulowane, aby pokazać wyjaśnienia, które nie miały sensu.

Aby potwierdzić wyniki swoich małych badań użytkowników, naukowcy przeprowadzili ankietę online wśród około 200 specjalistów od uczenia maszynowego zrekrutowanych za pośrednictwem list mailingowych i mediów społecznościowych. Znaleźli podobne zamieszanie i niewłaściwą pewność siebie.

Co gorsza, wielu uczestników chętnie korzystało z wizualizacji do podejmowania decyzji o wdrożeniu modelu, mimo że przyznawali, że nie rozumieją matematyki za nimi. Szczególnie zaskakujące było to, że ludzie usprawiedliwiali osobliwości w danych, tworząc narracje, które je wyjaśniały, mówi Harmanpreet Kaur na Uniwersytecie Michigan, współautor badania. Błąd automatyzacji był bardzo ważnym czynnikiem, którego nie braliśmy pod uwagę.

Ach, błąd automatyzacji. Innymi słowy, ludzie są gotowi ufać komputerom. To nie jest nowe zjawisko . Jeśli chodzi o zautomatyzowane systemy, od autopilotów samolotów po sprawdzanie pisowni, badania wykazały, że ludzie często akceptują wybory, których dokonują, nawet jeśli są w oczywisty sposób błędne. Ale kiedy dzieje się tak z narzędziami zaprojektowanymi, aby pomóc nam uniknąć tego zjawiska, mamy jeszcze większy problem.

Co możemy z tym zrobić? Dla niektórych część problemów z pierwszą falą XAI polega na tym, że jest ona zdominowana przez naukowców zajmujących się uczeniem maszynowym, z których większość to doświadczeni użytkownicy systemów sztucznej inteligencji. Mówi Tim Miller z University of Melbourne, który bada, w jaki sposób ludzie wykorzystują systemy sztucznej inteligencji: Więźniowie prowadzą azyl.

Właśnie to sobie uświadomił Ehsan siedząc z tyłu bezzałogowego Ubera. Łatwiej jest zrozumieć, co robi zautomatyzowany system — i zobaczyć, kiedy popełnia błąd — jeśli podaje powody swoich działań tak, jak zrobiłby to człowiek. Ehsan i jego kolega Marek Riedl opracowują system uczenia maszynowego, który automatycznie generuje takie uzasadnienia w języku naturalnym . We wczesnym prototypie para wzięła sieć neuronową, która nauczyła się grać w klasyczną grę wideo Frogger z lat 80., i wyszkoliła ją, by podawała powód za każdym razem, gdy wykonał ruch.

Zrzut ekranu oprogramowania Ehsan i Riedl's Frogger Wyjaśnienie Upol Ehsan

Aby to zrobić, pokazali systemowi wiele przykładów ludzi grających w tę grę, rozmawiając głośno o tym, co robią. Następnie wzięli sieć neuronową do tłumaczenia między dwoma językami naturalnymi i dostosowali ją do tłumaczenia między czynnościami w grze i uzasadnieniami tych czynności w języku naturalnym. Teraz, gdy sieć neuronowa widzi akcję w grze, przekłada ją na wyjaśnienie. Rezultatem jest sztuczna inteligencja grająca we Frogger, która mówi takie rzeczy, jak poruszanie się w lewo, aby pozostać za niebieską ciężarówką za każdym razem, gdy się porusza.

Praca Ehsana i Riedla to dopiero początek. Po pierwsze, nie jest jasne, czy system uczenia maszynowego zawsze będzie w stanie zapewnić uzasadnienie swoich działań w języku naturalnym. Weźmy na przykład grę planszową DeepMind AI AlphaZero. Jedną z najbardziej uderzających cech oprogramowania jest jego zdolność do wykonywania zwycięskich ruchów, o których większość graczy nie pomyślałaby w tym momencie gry. Gdyby AlphaZero potrafiło wyjaśnić swoje ruchy, czy zawsze miałyby sens?

Powody pomagają bez względu na to, czy je rozumiemy, czy nie, mówi Ehsan: Celem skoncentrowanej na człowieku XAI jest nie tylko sprawienie, by użytkownik zgodził się na to, co mówi sztuczna inteligencja, ale także sprowokowanie do refleksji. Riedl wspomina, jak oglądał transmisję na żywo z meczu turniejowego między AI DeepMind's AI i koreańskim mistrzem Go Lee Sedolem. Komentatorzy mówili o tym, co AlphaGo widzi i myśli. „AlphaGo nie działa tak” – mówi Riedl. „Ale czułem, że komentarz jest niezbędny do zrozumienia tego, co się dzieje”.

Nowa fala badaczy XAI zgadza się, że jeśli systemy sztucznej inteligencji mają być używane przez więcej osób, osoby te muszą być częścią projektu od samego początku – a różni ludzie potrzebują różnego rodzaju wyjaśnień. (Potwierdza to nowe badanie przeprowadzone przez Howley i jej współpracowników, w którym pokazują, że zdolność ludzi do zrozumienia interaktywnej lub statycznej wizualizacji zależy od poziomu ich wykształcenia). Pomyśl o sztucznej inteligencji do diagnozowania raka, mówi Ehsan. Chciałbyś, aby wyjaśnienie, jakie daje onkologowi, bardzo różniło się od wyjaśnienia, jakie daje pacjentowi.

Ostatecznie chcemy, aby sztuczna inteligencja tłumaczyła się nie tylko naukowcom zajmującym się danymi i lekarzom, ale także funkcjonariuszom policji korzystającym z technologii rozpoznawania twarzy, nauczycielom korzystającym z oprogramowania analitycznego w swoich klasach, uczniom próbującym zrozumieć swoje kanały w mediach społecznościowych — i każdemu, kto siedzi na tylnym siedzeniu. autonomicznego samochodu. Zawsze wiedzieliśmy, że ludzie nadmiernie ufają technologii, a dotyczy to zwłaszcza systemów AI, mówi Riedl. Im więcej mówisz, że jest mądry, tym więcej ludzi jest przekonanych, że jest mądrzejszy niż oni.

Wyjaśnienia, które każdy może zrozumieć, powinny pomóc przebić tę bańkę.

ukryć