211service.com
Jak rozliczać algorytmy?
Algorytmy są obecnie używane w sektorze publicznym i prywatnym, informując o decyzjach we wszystkim, od edukacji i zatrudnienia po wymiar sprawiedliwości w sprawach karnych. Ale pomimo potencjalnego wzrostu wydajności, algorytmy zasilane przez duże zbiory danych mogą również wzmocnić dyskryminację strukturalną , produkują błędy, które odmówić usług osobom fizycznym , a nawet uwieść elektorat w fałszywe poczucie bezpieczeństwa. Rzeczywiście, jest Rosnąca świadomość że opinia publiczna powinna uważać na ryzyko społeczne wynikające z nadmiernego polegania na tych systemach i pracy, aby trzymać ich odpowiedzialny .
Różne działania branżowe, w tym konsorcjum gigantów z Doliny Krzemowej zaczynają zmagać się z etyką wdrażania algorytmów, które mogą mieć nieoczekiwany wpływ na społeczeństwo. Twórcy algorytmów i menedżerowie produktu potrzebują nowych sposobów myślenia, projektowania i wdrażania systemów algorytmicznych w sposób publicznie odpowiedzialny. W ciągu ostatnich kilku miesięcy my i niektórzy koledzy próbowałem osiągnąć te cele, tworząc a zbiór zasad dla algorytmów rozliczalnych .
Rozważmy jeden przypadek, w którym odpowiedzialność algorytmiczna jest bardzo potrzebna: wyniki oceny ryzyka które informują o decyzjach wymiaru sprawiedliwości w sprawach karnych w amerykańskim systemie prawnym. Te wyniki są obliczane poprzez zadawanie serii pytań dotyczących takich rzeczy, jak wiek oskarżonego, przeszłość kryminalna i inne cechy. Dane są wprowadzane do algorytmu, który oblicza punktację, która może być następnie wykorzystana przy podejmowaniu decyzji o tymczasowym aresztowaniu, warunkowym warunkowym, warunkowym, a nawet skazaniu. Modele te są często szkolone przy użyciu zastrzeżonych algorytmów uczenia maszynowego i danych o poprzednich oskarżonych.
Ostatnie badania pokazują że algorytmy oceny ryzyka mogą być rasistowskie, generując wyniki, które, jeśli są błędne, częściej błędnie klasyfikują czarnych oskarżonych jako osoby wysokiego ryzyka. Wyniki te wywołały spore kontrowersje. Biorąc pod uwagę dosłownie zmieniający życie charakter tych algorytmicznych decyzji, należy im poświęcić szczególną uwagę i pociągnąć do odpowiedzialności za negatywne konsekwencje.
Algorytmy i dane, które je napędzają, są projektowane i tworzone przez ludzi. Nawet dla technik takich jak algorytmy genetyczne które ewoluują samoistnie, lub algorytmy uczenia maszynowego gdzie wynikowy model nie został stworzony ręcznie przez człowieka, wyniki są kształtowane przez decyzje projektowe podjęte przez człowieka, zasady dotyczące optymalizacji oraz wybory dotyczące danych treningowych, których należy użyć. Algorytm nie jest akceptowalną wymówką, jeśli systemy algorytmiczne popełniają błędy lub mają niepożądane konsekwencje.
Odpowiedzialność oznacza obowiązek zgłaszania i uzasadniania algorytmicznego podejmowania decyzji oraz łagodzenia wszelkich negatywnych skutków społecznych lub potencjalnych szkód. Rozważymy odpowiedzialność przez pryzmat pięciu podstawowych zasad: odpowiedzialności, wyjaśnialności, dokładności, możliwości kontroli i uczciwości.
Odpowiedzialność . W przypadku każdego systemu algorytmicznego potrzebna jest osoba upoważniona do radzenia sobie w odpowiednim czasie z jego niekorzystnymi skutkami indywidualnymi lub społecznymi. Nie jest to stwierdzenie o odpowiedzialności prawnej, ale raczej skupienie się na możliwościach zadośćuczynienia, dialogu publicznym i wewnętrznym autorytecie do zmiany. Może to być tak proste, jak przekazanie komuś z zespołu technicznego wewnętrznych uprawnień i zasobów do zmiany systemu, upewniając się, że informacje kontaktowe tej osoby są publicznie dostępne.
Wyjaśnienie . Wszelkie decyzje podejmowane przez system algorytmiczny powinny być możliwe do wyjaśnienia osobom, których dotyczą te decyzje. Wyjaśnienia te muszą być dostępne i zrozumiałe dla docelowych odbiorców; opisy czysto techniczne nie są odpowiednie dla ogółu społeczeństwa. Wyjaśnienie wyników oceny ryzyka oskarżonym i ich radcom prawnym przyczyniłoby się do lepszego zrozumienia i pomogłoby im zakwestionować pozorne błędy lub błędne dane. Niektóre modele uczenia maszynowego są bardziej wytłumaczalne niż inni, ale tylko dlatego, że w grę wchodzi wymyślna sieć neuronowa, nie oznacza to, że ma to znaczenie wyjaśnienie nie można wyprodukować.
Dokładność . Algorytmy popełniają błędy, czy to z powodu błędów danych w swoich danych wejściowych (śmieci wchodzące, wyrzucane) lub statystycznej niepewności w swoich danych wyjściowych. Zasada dokładność sugeruje, że źródła błędów i niepewności w algorytmie i jego źródłach danych muszą być zidentyfikowane, zarejestrowane i porównane. Zrozumienie natury błędów generowanych przez system algorytmiczny może pomóc w procedurach łagodzących.
Możliwość audytu . Zasada audytowalność stwierdza, że algorytmy powinny być rozwijane, aby umożliwić stronom trzecim badanie i przegląd zachowania algorytmu. Umożliwienie monitorowania, sprawdzania i krytykowania algorytmów prowadziłoby do bardziej świadomego projektowania i korygowania kursu w przypadku awarii. Chociaż może być wyzwania techniczne pozwalając na audyt publiczny przy jednoczesnej ochronie informacji zastrzeżonych, audyt prywatny (podobnie jak w rachunkowości) może zapewnić pewną publiczną pewność. Tam, gdzie to możliwe, nawet ograniczony dostęp (np. przez API) dawałby społeczeństwu cenną szansę na: audytu tych społecznie istotnych algorytmy.
Uczciwość . Ponieważ algorytmy w coraz większym stopniu podejmują decyzje w oparciu o dane historyczne i społeczne, istniejące uprzedzenia i historycznie dyskryminujące decyzje ludzkie mogą zostać wtopione w zautomatyzowane decyzje. Wszystkie algorytmy podejmujące decyzje dotyczące jednostek powinny być oceniane pod kątem efektów dyskryminacyjnych. Wyniki oceny i zastosowane kryteria powinny zostać podane do publicznej wiadomości i wyjaśnione.
Istnieje wiele możliwości dostosowania i interpretacji tych zasad do własnego kontekstu i oczywiście będą interweniować kwestie polityczne, własnościowe lub biznesowe. Uważamy jednak, że uwzględnienie tych pomysłów w cyklach projektowania, wdrażania i wydawania doprowadzi do bardziej odpowiedzialnego społecznie wdrażania algorytmów w społeczeństwie.
Jak zacząć? Przedstawiamy kilka pragmatycznych pytań, nad którymi zespół ds. produktu i rozwoju może przepracować, aby sformułować oświadczenie o wpływie społecznym który odnosi się do tych zasad .
Nicholas Diakopoulos jest adiunktem na Uniwersytecie Maryland w College Park. Sorelle Friedler jest n adiunkt w Haverford College oraz afiliant w Data & Society Research Institute.