211service.com
Algorytmy sprawdzające pod kątem stronniczości
Sądy, banki i inne instytucje używają zautomatyzowanych systemów analizy danych do podejmowania decyzji dotyczących Twojego życia. Nie pozostawiajmy twórcom algorytmów decyzji, czy robią to właściwie. 12 czerwca 2017 r.
Paweł Delcan
To była uderzająca historia. Błąd maszynowy, nagłówek i zwiastun ogłoszony : W całym kraju jest oprogramowanie używane do przewidywania przyszłych przestępców. I jest stronniczy w stosunku do czarnych.
ProPublica, nagrodzona nagrodą Pulitzera organizacja informacyjna non-profit, przeanalizowała oprogramowanie do oceny ryzyka znane jako COMPAS. Służy do prognozowania, którzy przestępcy najprawdopodobniej ponownie popełnią przestępstwo. Kierując się takimi prognozami, sędziowie na salach sądowych w całych Stanach Zjednoczonych podejmują decyzje dotyczące przyszłości oskarżonych i skazanych, ustalając wszystko, od kwoty kaucji po wyroki. Kiedy ProPublica porównała oceny ryzyka COMPAS dla: ponad 10 000 osób aresztowany w jednym z hrabstw na Florydzie z powodu tego, jak często ci ludzie faktycznie popełniali kolejne przestępstwa, odkrył, że algorytm poprawnie przewidział recydywę dla czarno-białych oskarżonych w mniej więcej takim samym tempie. Ale kiedy algorytm się mylił, był on zły na różne sposoby dla czarnych i białych. W szczególności czarni są prawie dwa razy bardziej narażeni niż biali, aby zostać uznani za bardziej zagrożone, ale w rzeczywistości nie będą ponownie popełniać przestępstw. A COMPAS miał tendencję do popełniania odwrotnego błędu z białymi: znacznie częściej niż czarni są określani jako niższe ryzyko, ale popełniają inne przestępstwa.
Rzeczy zrecenzowane
Odchylenie maszyny
ProPublica, 23 maja 2016
Skale ryzyka COMPAS: wykazujące dokładność kapitału własnego i przewidywanego parytetu
Northpointe, 8 lipca 2016 r.
Odpowiedź techniczna na Northpointe
ProPublica, 29 lipca 2016
Fałszywe pozytywy, fałszywe negatywy i fałszywe analizy: odpowiedź na „uprzedzenie maszyny”
Anthony Flores, Christopher Lowenkamp i Kristin Bechtel
10 sierpnia 2016
Ta historia była częścią naszego wydania z lipca 2017 r.
- Zobacz resztę numeru
- Subskrybuj
To, czy właściwe jest korzystanie z systemów takich jak COMPAS, to pytanie wykraczające poza uprzedzenia rasowe. Sąd Najwyższy Stanów Zjednoczonych może wkrótce zająć się sprawą skazanego z Wisconsin, który twierdzi, że jego prawo do rzetelnego procesu sądowego zostało naruszone, gdy sędzia, który go skazał, skonsultował się z COMPAS, ponieważ działanie systemu było niejasne dla oskarżonego. Potencjalne problemy z innymi systemami automatycznego podejmowania decyzji (ADM) występują również poza wymiarem sprawiedliwości. Na podstawie internetowych testów osobowości ADM pomagają ustalić, czy ktoś jest odpowiednią osobą do pracy. Algorytmy oceny kredytowej odgrywają ogromną rolę w tym, czy otrzymujesz kredyt hipoteczny, kartę kredytową, a nawet najbardziej opłacalną ofertę na telefon komórkowy.
Korzystanie z systemów oceny ryzyka, takich jak COMPAS, niekoniecznie jest złym pomysłem. W wielu przypadkach systemy ADM mogą zwiększyć uczciwość. Podejmowanie decyzji przez ludzi jest czasami tak niespójne, że wymaga nadzoru, aby dostosować je do naszych standardów sprawiedliwości. Jak wykazało jedno szczególnie niepokojące badanie, komisje ds. zwolnień warunkowych: większe prawdopodobieństwo uwolnienia skazanych gdyby sędziowie właśnie mieli przerwę na posiłek. To prawdopodobnie nigdy nie przyszło sędziom do głowy. System ADM mógłby wykryć takie niespójności i usprawnić proces.
Często jednak nie wiemy wystarczająco dużo o tym, jak działają systemy ADM, aby wiedzieć, czy są one bardziej sprawiedliwe, niż byliby sami ludzie. Po części dlatego, że systemy dokonują wyborów na podstawie podstawowych założeń, które nie są jasne nawet dla projektantów systemów, niekoniecznie jest możliwe określenie, które algorytmy są stronnicze, a które nie. I nawet jeśli odpowiedź wydaje się jasna, jak w ustaleniach ProPublica na temat COMPAS, prawda jest czasami bardziej skomplikowana.
Prawodawcy, sądy i dobrze poinformowana opinia publiczna powinni decydować, jakie priorytety mają algorytmy.
Co powinniśmy zrobić, aby lepiej radzić sobie z ADM? Społeczeństwa demokratyczne potrzebują większego nadzoru nad takimi systemami niż obecnie. AlgorithmWatch, berlińska organizacja non-profit wspierająca, którą współtworzyłem z informatykiem, filozofem prawa i innym dziennikarzem, ma na celu pomóc ludziom zrozumieć skutki takich systemów. Fakt, że większość procedur ADM jest dla osób nimi dotkniętych czarną skrzynką, nie jest prawem natury. To musi się skończyć, twierdzimy w naszym manifeście . Mimo to nasze podejście do tej kwestii różni się od opinii wielu krytyków – ponieważ obawiamy się, że technologia może zostać niezasłużenie zdemonizowana. Co ważne, społeczeństwa, a nie tylko twórcy algorytmów, dokonują osądów wartościujących, które trafiają do ADM.
Miary sprawiedliwości
COMPAS określa swoje oceny ryzyka na podstawie odpowiedzi na Ankieta który bada historię kryminalną oskarżonego i postawy wobec przestępczości. Czy to daje stronnicze wyniki?
Po dochodzeniu ProPublica firma Northpointe, która opracowała COMPAS, zakwestionowała tę historię, argumentując, że dziennikarze błędnie zinterpretowali dane. To samo zrobiło trzech badaczy wymiaru sprawiedliwości w sprawach karnych , w tym jeden z organizacji reformy wymiaru sprawiedliwości. Kto ma rację – reporterzy czy badacze? Krishna Gummadi, szef Networked Systems Research Group w Instytucie Maxa Plancka ds. Systemów Oprogramowania w Saarbrücken w Niemczech, oferuje zaskakującą odpowiedź: wszyscy są.
Gummadi, który intensywnie badał uczciwość algorytmów, mówi, że wyniki ProPublica i Northpointe nie są ze sobą sprzeczne. Różnią się, ponieważ stosują różne miary uczciwości.
Odpowiednio stosowane algorytmy wymiaru sprawiedliwości dają szansę pokolenia, a być może nawet całego życia, aby w naukowy sposób zreformować wyroki i rozwiązać masowe więzienie.
Wyobraź sobie, że projektujesz system przewidujący, którzy przestępcy ponownie popełnią przestępstwo. Jedną z opcji jest optymalizacja pod kątem prawdziwych pozytywów, co oznacza, że zidentyfikujesz jak najwięcej osób, które są narażone na wysokie ryzyko popełnienia kolejnego przestępstwa. Jednym z problemów związanych z tym podejściem jest to, że ma ono tendencję do zwiększania liczby fałszywych trafień: osób, które zostaną niesłusznie sklasyfikowane jako prawdopodobni recydywiści. Pokrętło można ustawić tak, aby dostarczało jak najmniej fałszywych trafień, ale to zwykle tworzy więcej fałszywych negatywnych: prawdopodobnych recydywistów, którzy prześlizgują się i są traktowani łagodniej, niż jest to uzasadnione.
Zwiększenie częstości występowania wyników prawdziwie pozytywnych lub zmniejszenie liczby wyników fałszywie dodatnich to oba sposoby ulepszenia miary statystycznej znanej jako dodatnia wartość predykcyjna lub PPV. To jest procent wszystkich pozytywów, które są prawdziwe.
Jak wskazuje Gummadi, ProPublica porównała wskaźniki fałszywie dodatnich i fałszywie ujemnych wyników dla osób czarno-białych i stwierdziła, że są one przekrzywione na korzyść białych. Natomiast Northpointe porównał PPV dla różnych ras i stwierdził, że są one podobne. Częściowo dlatego, że współczynniki recydywizmu dla czarnych i białych w rzeczywistości różnią się, jest matematycznie prawdopodobne, że pozytywne wartości predykcyjne dla osób w każdej grupie będą podobne, podczas gdy współczynniki wyników fałszywie ujemnych nie są.
Jedną z rzeczy, które nam to mówi, jest to, że szersze społeczeństwo – prawodawcy, sądy, poinformowana opinia publiczna – powinno zdecydować, jakie priorytety mają takie algorytmy. Czy przede wszystkim zależy nam na tym, aby jak najmniej szans na to, że ktoś pominie kaucję lub popełni ponownie przestępstwo? Jakich kompromisów powinniśmy dokonać, aby zapewnić sprawiedliwość i obniżyć ogromne społeczne koszty pozbawienia wolności?
Bez względu na to, jak ustawione są pokrętła, każdy algorytm będzie miał błędy — w końcu jest to przewidywanie na podstawie ogólnych statystyk, a nie czyjejś indywidualnej sytuacji. Ale nadal możemy używać takich systemów do kierowania decyzjami, które są mądrzejsze i sprawiedliwsze niż te, które ludzie podejmują sami.
Kontrowersje wokół praktyk nowojorskiej policji polegającej na zatrzymaniu i przeszukaniu pomagają wyjaśnić, dlaczego. Między styczniem 2004 r. a czerwcem 2012 r. policja Nowego Jorku przeprowadziła 4,4 miliona zatrzymań w ramach programu, który pozwolił funkcjonariuszom tymczasowo zatrzymywać, przesłuchiwać i przeszukiwać ludzi na ulicy w poszukiwaniu broni i innej przemytu. Ale w rzeczywistości 88 procent z 4,4 miliona zatrzymań nie spowodowało dalszych działań – co oznacza, że zdecydowana większość zatrzymanych nie robiła nic złego. New York Times powiedział w artykule redakcyjnym potępiającym praktykę. Co więcej: w około 83 procentach przypadków zatrzymana osoba była czarna lub Latynoska, mimo że obie grupy stanowiły nieco ponad połowę populacji. Ten przykład ludzkiego uprzedzenia, oświetlony analizą danych, przypomina, że systemy ADM mogą odgrywać pozytywną rolę w sądownictwie karnym. Używane właściwie, dają szansę na całe pokolenie, a być może i całe życie, na zreformowanie wyroków i złagodzenie masowego więzienia w sposób naukowy, według Anthony Flores, Christopher Lowenkamp i Kristin Bechtel, trzech badaczy, którzy znaleźli błędy w metodologii, którą ProPublica używany do analizy COMPAS. Autorzy martwią się, że ta szansa wymyka się z powodu dezinformacji i niezrozumienia technologii.
Ale jeśli przyjmiemy, że algorytmy mogą uczynić życie bardziej sprawiedliwym, jeśli są dobrze zaprojektowane, skąd możemy wiedzieć, czy są tak zaprojektowane?
Społeczeństwa demokratyczne powinny teraz pracować nad określeniem, jakiej przejrzystości oczekują od systemów ADM. Czy potrzebujemy nowych przepisów dotyczących oprogramowania, aby zapewnić jego odpowiednią kontrolę? Prawodawcy, sędziowie i opinia publiczna powinni mieć wpływ na to, jakie środki uczciwości są traktowane priorytetowo przez algorytmy. Ale jeśli algorytmy w rzeczywistości nie odzwierciedlają tych ocen wartościujących, kto będzie pociągnięty do odpowiedzialności?
Są to trudne pytania, na które musimy odpowiedzieć, jeśli spodziewamy się skorzystać z postępów w technologii algorytmicznej.
Matthias Spielkamp jest dyrektorem wykonawczym AlgorithmWatch, grupy rzeczników, która analizuje ryzyko i możliwości automatycznego podejmowania decyzji.