Tak naprawdę dzieje się błąd sztucznej inteligencji — i dlaczego tak trudno to naprawić

Pani Tech; Zdjęcie: PIXOLOGICSTUDIO/SCIENCE FOTO BIBLIOTEKA

W ciągu ostatnich kilku miesięcy udokumentowaliśmy, w jaki sposób ogromna większość dzisiejszych aplikacji sztucznej inteligencji opiera się na kategorii algorytmów znanych jako uczenie głębokie oraz w jaki sposób algorytmy uczenia głębokiego znajdują wzorce w danych. Omówiliśmy również, w jaki sposób te technologie wpływają na życie ludzi: w jaki sposób mogą utrwalać niesprawiedliwość w zatrudnianiu, sprzedaży detalicznej i bezpieczeństwie, a może już to robić w systemie prawa karnego .

Ale nie wystarczy wiedzieć, że to nastawienie istnieje. Jeśli chcemy być w stanie to naprawić, musimy przede wszystkim zrozumieć mechanizm powstawania tego zjawiska.

Jak dzieje się stronniczość AI?

Często skracamy nasze wyjaśnienie stronniczości AI, obwiniając je stronniczymi danymi treningowymi. Rzeczywistość jest bardziej zniuansowana: stronniczość może się wkraść na długo przed danymi jest zbierany, a także w wiele innych etapów procesu głębokiego uczenia się. Na potrzeby tej dyskusji skupimy się na trzech kluczowych etapach.

Ujęcie problemu. Pierwszą rzeczą, jaką robią informatycy, kiedy tworzą model głębokiego uczenia się, jest decyzja, co tak naprawdę chcą osiągnąć. Na przykład firma obsługująca karty kredytowe może chcieć przewidzieć zdolność kredytową klienta, ale zdolność kredytowa jest dość mglistym pojęciem. Aby przełożyć to na coś, co da się obliczyć, firma musi zdecydować, czy chce, powiedzmy, maksymalizować marżę zysku, czy zmaksymalizować liczbę spłacanych kredytów. Mógłby wtedy zdefiniować zdolność kredytową w kontekście tego celu. Problem polega na tym, że decyzje te są podejmowane z różnych powodów biznesowych, innych niż uczciwość lub dyskryminacja, wyjaśnia Solon Barocas, adiunkt na Cornell University, który specjalizuje się w uczciwości w uczeniu maszynowym. Gdyby algorytm odkrył, że udzielanie pożyczek subprime jest skutecznym sposobem na maksymalizację zysków, w końcu zaangażowałby się w drapieżne zachowania, nawet jeśli nie było to intencją firmy.

Zbieranie danych. Istnieją dwa główne sposoby, w jakie stronniczość pojawia się w danych treningowych: albo dane, które zbierasz, nie odzwierciedlają rzeczywistości, albo odzwierciedlają istniejące uprzedzenia. Pierwszy przypadek może wystąpić, na przykład, jeśli algorytm głębokiego uczenia otrzyma więcej zdjęć twarzy o jasnej karnacji niż twarzy o ciemnej karnacji. Wynikający z tego system rozpoznawania twarzy byłby nieuchronnie gorszy w rozpoznawaniu twarzy o ciemniejszej karnacji. Drugi przypadek dotyczy dokładnie tego, co wydarzyło się, gdy Amazon odkrył, że jego wewnętrzne narzędzie rekrutacyjne było: zwalnianie kandydatek . Ponieważ szkolono go na historycznych decyzjach o zatrudnieniu, które faworyzowały mężczyzn nad kobietami, nauczył się robić to samo.

Przygotowanie danych. Wreszcie możliwe jest wprowadzenie błędu na etapie przygotowania danych, który polega na wybraniu atrybutów, które algorytm ma uwzględnić. (Nie należy tego mylić z etapem formułowania problemu. Możesz użyć tych samych atrybutów, aby trenować model dla bardzo różnych celów lub użyć bardzo różnych atrybutów, aby trenować model dla tego samego celu.) W przypadku modelowania zdolności kredytowej, atrybutem może być wiek klienta, jego dochód lub liczba spłaconych pożyczek. W przypadku narzędzia rekrutacyjnego Amazon atrybutem może być płeć kandydata, poziom wykształcenia lub lata doświadczenia. To właśnie ludzie często nazywają sztuką głębokiego uczenia się: wybór atrybutów do rozważenia lub zignorowania może znacząco wpłynąć na dokładność przewidywania modelu. Ale chociaż jego wpływ na dokładność jest łatwy do zmierzenia, jego wpływ na obciążenie modelu nie jest.

Dlaczego stronniczość AI jest trudna do naprawienia

Biorąc pod uwagę ten kontekst, niektóre wyzwania związane z łagodzeniem uprzedzeń mogą już być dla ciebie oczywiste. Tutaj wyróżniamy cztery główne.

Nieznane niewiadome. Wprowadzenie błędu systematycznego nie zawsze jest oczywiste podczas konstruowania modelu, ponieważ znacznie później możesz zdawać sobie sprawę z wpływu swoich danych i wyborów. Gdy to zrobisz, trudno jest z mocą wsteczną określić, skąd wzięło się to nastawienie, a następnie dowiedzieć się, jak się go pozbyć. W przypadku Amazona, kiedy inżynierowie początkowo odkryli, że jego narzędzie karze kandydatki, przeprogramowali je, aby ignorować wyraźnie określone dla płci słowa, takie jak „kobiety”. Wkrótce odkryli, że poprawiony system nadal działa niejawnie płciowe słowa — czasowniki, które były silnie skorelowane z mężczyznami niż z kobietami, takie jak stracone i schwytane — i używanie ich do podejmowania decyzji.

Niedoskonałe procesy. Po pierwsze, wiele standardowych praktyk w uczeniu głębokim nie jest zaprojektowanych z myślą o wykrywaniu uprzedzeń. Modele uczenia głębokiego są testowane pod kątem wydajności przed ich wdrożeniem, co wydaje się być doskonałą okazją do wychwycenia stronniczości. Ale w praktyce testowanie zwykle wygląda tak: informatycy losowo dzielą swoje dane zanim szkolenie na jedną grupę, która jest faktycznie wykorzystywana do szkolenia i inną, która jest zarezerwowana do walidacji po zakończeniu szkolenia. Oznacza to, że dane używane do testowania wydajności modelu mają te same błędy systematyczne, co dane użyte do jego trenowania. W ten sposób nie będzie oznaczać wypaczonych lub uprzedzonych wyników.

Brak kontekstu społecznego. Podobnie sposób, w jaki informatycy są uczeni opisywania problemów, często nie jest zgodny z najlepszym sposobem myślenia o problemach społecznych. Na przykład w nowy papier , Andrew Selbst, stażysta w Data & Society Research Institute, identyfikuje to, co nazywa pułapką przenoszenia. W informatyce za dobrą praktykę uważa się projektowanie systemu, który może być używany do różnych zadań w różnych kontekstach. Ale to, co robi, to ignorowanie dużego kontekstu społecznego, mówi Selbst. Nie możesz mieć systemu zaprojektowanego w Utah, a następnie zastosowanego bezpośrednio w Kentucky, ponieważ różne społeczności mają różne wersje sprawiedliwości. Albo nie możesz mieć systemu, w którym ubiegasz się o „uczciwe” wyniki wymiaru sprawiedliwości w sprawach karnych, a następnie stosujesz je do zatrudnienia. To, jak myślimy o uczciwości w tych kontekstach, jest po prostu zupełnie inne.

Definicje sprawiedliwości. Nie jest również jasne, jak powinien wyglądać brak uprzedzeń. Nie dotyczy to tylko informatyki — to pytanie ma długą historię debaty w filozofii, naukach społecznych i prawie. To, co wyróżnia informatykę, polega na tym, że pojęcie uczciwości należy zdefiniować w kategoriach matematycznych, takich jak równoważenie współczynników fałszywie dodatnich i fałszywie ujemnych systemu predykcyjnego. Ale jak odkryli naukowcy, istnieje wiele różnych matematycznych definicji sprawiedliwości, które również wzajemnie się wykluczają. Czy uczciwość oznacza na przykład, że ta sama proporcja osób czarno-białych powinno uzyskać wysokie wyniki oceny ryzyka? Albo że ten sam poziom ryzyka powinien dać taki sam wynik niezależnie od rasy? Nie da się jednocześnie spełnić obu definicji ( tutaj jest dokładniejsze spojrzenie na przyczynę), więc w pewnym momencie musisz wybrać jeden. Ale podczas gdy w innych dziedzinach ta decyzja jest rozumiana jako coś, co może się zmienić w czasie, w dziedzinie informatyki uważa się, że należy ją naprawić. Naprawiając odpowiedź, rozwiązujesz problem, który wygląda zupełnie inaczej niż sposób, w jaki społeczeństwo myśli o tych problemach, mówi Selbst.

Dokąd idziemy stąd?

Jeśli masz ochotę na naszą wirującą wycieczkę po pełnym zakresie problemu stronniczości sztucznej inteligencji, ja też. Ale na szczęście silny kontyngent badaczy sztucznej inteligencji ciężko pracuje, aby rozwiązać ten problem. Podjęli różne podejścia: algorytmy, które pomagają wykryć oraz łagodzić ukryte uprzedzenia w danych treningowych lub które łagodzą uprzedzenia poznany przez model niezależnie od jakości danych; procesy które posiadają firmy odpowiedzialny do sprawiedliwszych wyników i dyskusje które mieszają różne definicje uczciwości.

„Naprawianie” dyskryminacji w systemach algorytmicznych nie jest czymś, co można łatwo rozwiązać, mówi Selbst. To proces, który trwa, podobnie jak dyskryminacja w każdym innym aspekcie społeczeństwa.

Pierwotnie pojawiło się to w naszym biuletynie AI The Algorithm. Aby otrzymać go bezpośrednio do skrzynki odbiorczej, zarejestruj się tutaj za darmo.

ukryć