Stronnicze algorytmy są wszędzie i nikogo to nie obchodzi

Kate Crawford przemawiająca na konferencji AI Now na MIT w tym tygodniu. Jan Maeda (@johnmaeda)

Nieprzejrzyste i potencjalnie stronnicze modele matematyczne zmieniają nasze życie – i ani firmy odpowiedzialne za ich opracowanie, ani rząd nie są zainteresowane rozwiązaniem problemu.

W tym tygodniu grupa badaczy wraz z American Civil Liberties Union podjęła próbę zidentyfikowania i podkreślenia błędu algorytmicznego. ten Inicjatywa AI Now została ogłoszona na wydarzeniu odbywającym się w MIT, aby omówić to, co wielu ekspertów postrzega jako rosnące wyzwanie.

Błąd algorytmiczny staje się poważnym problemem społecznym w krytycznym momencie ewolucji uczenia maszynowego i sztucznej inteligencji. Jeśli stronniczość czająca się w algorytmach podejmujących coraz ważniejsze decyzje zostanie nierozpoznana i niekontrolowana, może to mieć poważne negatywne konsekwencje, zwłaszcza dla biedniejszych społeczności i mniejszości. Ostateczny protest może również zahamować postęp niezwykle użytecznej technologii (patrz Sprawdzanie algorytmów pod kątem odchyleń ).

Algorytmy, które mogą ukrywać ukryte uprzedzenia, są już rutynowo wykorzystywane do podejmowania ważnych decyzji finansowych i prawnych. Zastrzeżone algorytmy są wykorzystywane do decydowania na przykład o tym, kto weźmie udział w rozmowie kwalifikacyjnej, kto otrzyma zwolnienie warunkowe, a kto otrzyma pożyczkę .

Założyciele nowej inicjatywy AI Now, Kate Crawford , badacz z Microsoftu i Meredith Whittaker, badacz z Google, twierdzą, że stronniczość może występować we wszystkich rodzajach usług i produktów.

Crawford i Whittaker powiedzieli w e-mailu, że to dopiero początek zrozumienia błędu algorytmicznego. Tylko w tym roku widzieliśmy więcej systemów, w których występują problemy, a to tylko te, które zostały zbadane.

Mówią, że przykłady stronniczości algorytmicznej, które ostatnio wyszły na światło dzienne, obejmują wadliwe i nieprawdziwe systemy używane do oceniania nauczycieli oraz modele przetwarzania języka naturalnego oparte na płci.

Cathy O’Neil, matematyk i autorka książki Broń matematycznego niszczenia , książka, która podkreśla ryzyko błędu algorytmicznego w wielu kontekstach, mówi, że ludzie często zbyt chętnie ufają modelom matematycznym, ponieważ wierzą, że usuną one ludzkie uprzedzenia. [Algorytmy] zastępują ludzkie procesy, ale nie są utrzymywane według tych samych standardów, mówi. Ludzie za bardzo im ufają.

Kluczowym wyzwaniem, jak twierdzą ci i inni badacze, jest to, że kluczowi interesariusze, w tym firmy, które opracowują i stosują systemy uczenia maszynowego i organy regulacyjne, wykazują niewielkie zainteresowanie monitorowaniem i ograniczaniem błędów algorytmicznych. Firmy finansowe i technologiczne korzystają z wszelkiego rodzaju modeli matematycznych i nie są przejrzyste w kwestii sposobu, w jaki działają. O’Neil mówi na przykład, że jest zaniepokojona tym, jak działają algorytmy stojące za nową usługą wyszukiwania pracy Google.

Powiązana historia

Powiązana historia Bez doradców ds. nauki i technologii w Białym Domu prezydent Trump mógłby mieć trudności z reagowaniem na kryzysy.

O’Neil pracował wcześniej jako profesor w Barnard College w Nowym Jorku i analityk ilościowy w firmie D.E. Shaw. Ona jest teraz szefem Doradztwo w zakresie ryzyka online i audyt algorytmiczny , firma założona, aby pomagać firmom identyfikować i korygować błędy w stosowanych przez nich algorytmach. Ale O’Neil mówi, że nawet ci, którzy znają swoje algorytmy, są narażeni na stronniczość, są bardziej zainteresowani wynikiem końcowym niż wykorzenieniem stronniczości. Będę z tobą szczery, mówi. W tej chwili nie mam klientów.

O’Neil, Crawford i Whittaker ostrzegają również, że brak zainteresowania administracji Trumpa sztuczną inteligencją – i ogólnie nauką – oznacza, że ​​nie ma ruchu regulacyjnego, który mógłby rozwiązać ten problem (patrz The Gaping, Dangerous Hold w administracji Trumpa).

Według ich strony internetowej Biuro ds. Polityki Nauki i Technologii nie jest już aktywnie zaangażowane w politykę dotyczącą sztucznej inteligencji – ani w wiele czegokolwiek, jak piszą Crawford i Whittaker. Praca polityczna musi być teraz wykonana gdzie indziej.

ukryć