Nowe badania mają na celu rozwiązanie problemu stronniczości AI w algorytmach czarnej skrzynki

Siobhan Gallagher

Od zbierania akcji po badanie promieni rentgenowskich, sztuczna inteligencja jest coraz częściej wykorzystywana do podejmowania decyzji, które wcześniej należały do ​​ludzi. Ale sztuczna inteligencja jest tylko tak dobra, jak dane, na których została wyszkolona, ​​i w wielu przypadkach kończymy przerabianie naszych aż nazbyt ludzkich uprzedzeń w algorytmy, które mogą mieć ogromny wpływ na ludzkie życie.

W nowy artykuł opublikowany na arXiv , naukowcy twierdzą, że mogli znaleźć sposób na złagodzenie problemu w przypadku algorytmów, które są trudne do zbadania przez osoby postronne – tak zwanych systemów czarnej skrzynki.

Szczególnie niepokojącym obszarem, w którym pojawiają się stronniczość, jest modelowanie oceny ryzyka, które może decydować na przykład o szansach na przyznanie kaucji lub zatwierdzenie pożyczki. Zazwyczaj w takich przypadkach branie pod uwagę czynników takich jak rasa jest nielegalne, ale algorytmy mogą nauczyć się rozpoznawać i wykorzystywać fakt, że poziom wykształcenia lub adres domowy danej osoby mogą korelować z innymi informacjami demograficznymi, co może skutecznie nasycać ją uprzedzeniami rasowymi i innymi.

To, co sprawia, że ​​ten problem jest jeszcze trudniejszy, to fakt, że wiele AI wykorzystywanych do dokonywania tych wyborów to czarne skrzynki — albo są one zbyt skomplikowane, aby je łatwo zrozumieć, albo są to zastrzeżone algorytmy, których firmy odmawiają wyjaśnienia. Naukowcy pracowali nad narzędziami, aby zobaczyć, co się dzieje pod maską , ale problem jest powszechny i ​​narasta (patrz stronnicze algorytmy są wszędzie i nikogo to nie obchodzi ).

W artykule Sarah Tan (która w tym czasie pracowała w firmie Microsoft) i jej współpracownicy wypróbowali swoją metodę na dwóch czarnoskrzynkowych modelach oceny ryzyka: jednym o ryzyku kredytowym i wskaźnikach niewypłacalności firmy LendingClub typu peer-to-peer i jednym z Northpointe , firma świadcząca usługi oparte na algorytmach dla sądów w całym kraju, przewidująca ryzyko recydywy dla oskarżonych.

Naukowcy zastosowali dwutorowe podejście, aby rzucić światło na sposób działania tych potencjalnie stronniczych algorytmów. Najpierw stworzyli model, który naśladuje badany algorytm czarnej skrzynki i generuje ocenę ryzyka na podstawie początkowego zestawu danych, tak jak zrobiłyby to LendingClub i Northpointe. Następnie zbudowali drugi model, który przeszkolili na rzeczywistych wynikach, wykorzystując go do określenia, które zmienne z początkowego zestawu danych są ważne dla wyników końcowych.

W przypadku LendingClub badacze przeanalizowali dane dotyczące liczby zapadłych pożyczek z lat 2007-2011. Baza danych LendingClub zawierała wiele różnych dziedzin, ale naukowcy odkryli, że model kredytowy firmy prawdopodobnie ignorował zarówno roczny dochód wnioskodawcy, jak i cel pożyczki . Dochód może mieć sens, aby go zignorować, ponieważ jest zgłaszany przez samego siebie i można go sfałszować. Ale cel pożyczki jest silnie skorelowany z ryzykiem — pożyczki dla małych firm są znacznie bardziej ryzykowne niż te używane na przykład na opłacenie ślubów. Wyglądało na to, że LendingClub ignoruje ważną zmienną.

Tymczasem Northpointe twierdzi, że jego algorytm COMPAS nie uwzględnia rasy jako zmiennej podczas formułowania zaleceń dotyczących skazywania. Jednak w dochodzeniu przez ProPublica dziennikarze zebrali informacje rasowe o oskarżonych, którzy zostali skazani z pomocą COMPAS i znaleźli dowody na uprzedzenia rasowe. W swoim modelu mimicznym badacze wykorzystali dane zebrane przez ProPublicę, a także informacje dotyczące wieku oskarżonych, płci, stopnia oskarżenia, liczby wcześniejszych wyroków skazujących oraz długości wcześniejszego pobytu w więzieniu. Metoda była zgodna z ustaleniami ProPublica, co sugeruje, że COMPAS był prawdopodobnie stronniczy w przypadku niektórych grup wiekowych i rasowych.

Krytycy mogą wskazać, że nie są to dokładne repliki – z konieczności badacze dokonywali wielu uzasadnionych domysłów. Ale jeśli firma stojąca za algorytmem nie chce ujawnić informacji o tym, jak działa jej system, modele aproksymacyjne, takie jak te z tego badania, są rozsądnym sposobem na uzyskanie wglądu, mówi Brendan O'Connor, adiunkt na Uniwersytecie Massachusetts. , Amherst, który opublikował artykuł na temat stronniczości w przetwarzaniu języka naturalnego.

Musimy być świadomi, że to się dzieje, a nie zamykać na to oczu i zachowywać się tak, jakby się nie działo, mówi O’Connor.

ukryć