Czy możesz uczynić sztuczną inteligencję bardziej sprawiedliwą niż sędzia? Zagraj w naszą grę algorytmów sądowych

Selman projekt

Jako dziecko rozwijasz poczucie, co oznacza uczciwość. Jest to koncepcja, której uczysz się wcześnie, gdy pogodzisz się z otaczającym Cię światem. Coś albo wydaje się sprawiedliwe, albo nie.

Ale coraz częściej algorytmy zaczęły decydować o sprawiedliwości za nas. Decydują, kto zobaczy ogłoszenia o mieszkaniach, kto zostanie zatrudniony lub zwolniony, a nawet trafi do więzienia. W związku z tym ludzie, którzy je tworzą — inżynierowie oprogramowania — są proszeni o wyrażenie, co to znaczy być uczciwym w swoim kodzie. To dlatego regulatorzy na całym świecie zmagają się teraz z pytaniem: Jak matematycznie określić sprawiedliwość?

Ta historia próbuje dać odpowiedź. A żeby to zrobić, potrzebujemy Twojej pomocy. Przejdziemy przez prawdziwy algorytm, używany do decydowania, kto trafi do więzienia, i poprosimy o dostosowanie różnych parametrów, aby jego wyniki były bardziej sprawiedliwe. (Nie martw się — to nie będzie wymagało patrzenia na kod!)

Algorytm, który badamy jest znany jako COMPAS i jest jednym z kilku różnych narzędzi oceny ryzyka stosowanych w amerykańskim systemie prawa karnego.

Na wysokim poziomie COMPAS ma pomóc sędziom w ustaleniu, czy oskarżony powinien zostać przetrzymywany w więzieniu, czy też powinien zostać wypuszczony w oczekiwaniu na proces. Szkoli się na danych historycznych oskarżonych, aby znaleźć korelacje między takimi czynnikami, jak wiek i historia danej osoby w systemie prawa karnego oraz czy dana osoba została ponownie aresztowana. Następnie wykorzystuje korelacje do przewidzenia prawdopodobieństwa aresztowania oskarżonego za nowe przestępstwo w okresie oczekiwania na rozprawę.1

Notatka

• 1. Aresztowania a skazania

  Ten proces jest wysoce niedoskonały. Narzędzia wykorzystują aresztowania jako pełnomocnictwo do przestępstw, ale w rzeczywistości istnieją duże rozbieżności między nimi, ponieważ policja ma historię nieproporcjonalnych aresztowań mniejszości rasowych i manipulowania danymi. Co więcej, aresztowania są często dokonywane za naruszenia techniczne, takie jak niestawienie się w sądzie, a nie za powtarzającą się działalność przestępczą. W tej historii zbytnio upraszczamy, aby zbadać, co by się stało, gdyby aresztowania odpowiadały rzeczywistym przestępstwom.

  
  
  

Ta prognoza jest znana jako wynik ryzyka oskarżonego i jest rozumiana jako zalecenie: oskarżonych wysokiego ryzyka należy uwięzić, aby nie wyrządzali potencjalnej szkody społeczeństwu; Oskarżeni o niskim ryzyku powinni zostać zwolnieni przed procesem. (W rzeczywistości sędziowie nie zawsze podążaj te zalecenia, ale oceny ryzyka pozostają istotne).

Zwolennicy narzędzi oceny ryzyka przekonują, że czynią system prawa karnego bardziej sprawiedliwym. Zastępują intuicję i uprzedzenia sędziów – w szczególności uprzedzenia rasowe – pozornie bardziej obiektywną oceną. Oni też mogą zastąpić praktykę wpłacania kaucji w USA, co wymaga od oskarżonych zapłaty pewnej sumy pieniędzy za ich uwolnienie. Kaucja dyskryminuje biednych Amerykanów i nieproporcjonalnie dotyka czarnych oskarżonych, którzy są nadreprezentowani w systemie prawa karnego.

Notatka

• 2. Metodologia ProPublica

  W przypadku oskarżonych, którzy zostali skazani przed procesem, ProPublica zbadała, czy zostali ponownie aresztowani w ciągu dwóch lat po zwolnieniu. Następnie wykorzystał to do przybliżenia, czy oskarżeni zostaliby ponownie aresztowani przed procesem, gdyby nie zostali skazani.

  
  
  

Zgodnie z wymogami prawa COMPAS nie uwzględnia rasy przy obliczaniu wyników ryzyka. Jednak w 2016 roku a Dochodzenie ProPublica twierdził, że narzędzie było nadal stronniczy w stosunku do czarnych. ProPublica ustaliła, że ​​wśród oskarżonych, którzy nigdy nie zostali ponownie aresztowani, prawdopodobieństwo, że czarni oskarżeni zostali oznaczeni przez COMPAS jako osoby wysokiego ryzyka, dwukrotnie częściej niż osoby białe.

Więc naszym zadaniem jest teraz spróbować ulepszyć COMPAS. Gotowe?

Zacznijmy od ten sam zestaw danych które ProPublica wykorzystała w swojej analizie. Obejmuje ona każdego oskarżonego ocenionego przez algorytm COMPAS w hrabstwie Broward na Florydzie w latach 2013-2014. W sumie jest to ponad 7200 profili z imieniem i nazwiskiem każdej osoby, wiekiem, rasą i wynikiem ryzyka COMPAS, z zaznaczeniem, czy dana osoba została ostatecznie ponownie aresztowana po zwolnienie lub aresztowanie przed procesem.

Aby ułatwić wizualizację danych, losowo wybraliśmy 500 czarno-białych oskarżonych z pełnego zestawu.

Przedstawiliśmy każdego oskarżonego jako kropkę.

Pamiętaj: wszystkie te kropki to ludzie oskarżeni (ale nie skazani) za przestępstwo. Niektórzy trafią do więzienia przed procesem; inni zostaną natychmiast zwolnieni. Niektórzy zostaną ponownie aresztowani po zwolnieniu; inni nie. Chcemy porównać dwie rzeczy: przewidywania (którzy pozwani otrzymali wysokie i niskie oceny ryzyka) oraz rzeczywiste wyniki (którzy pozwani faktycznie został ponownie aresztowany po zwolnieniu).

COMPAS ocenia oskarżonych w skali od 1 do 10, gdzie 1 odpowiada mniej więcej 10% szansy na ponowne aresztowanie, 2 do 20% i tak dalej.

Spójrzmy, jak COMPAS zdobył wszystkich.

Notatka

• 3. Wyniki COMPAS

  COMPAS został zaprojektowany, aby tworzyć prognozy zbiorcze dotyczące grup osób o podobnych cechach, a nie prognozy dotyczące konkretnych osób. Metodologia stojąca za jego punktacją i zalecenia, jak z nich korzystać, są bardziej skomplikowane, niż mogliśmy przedstawić; możesz o nich przeczytać pod powyższym linkiem.

Chociaż COMPAS może zaoferować jedynie statystyczne prawdopodobieństwo, że oskarżony zostanie ponownie aresztowany przed procesem, sędziowie oczywiście muszą podjąć decyzję typu „wszystko albo nic”: czy zwolnić, czy zatrzymać oskarżonego. Na potrzeby tej historii użyjemy progu wysokiego ryzyka COMPAS, który wynosi 7 lub więcej, aby przedstawić zalecenie zatrzymania oskarżonego3.

Odtąd ty rządzisz. Twoim zadaniem jest przeprojektowanie ostatniego etapu tego algorytmu poprzez znalezienie bardziej sprawiedliwego miejsca, w którym można ustawić próg wysokiego ryzyka.

Tak będzie wyglądał Twój próg. Spróbuj kliknąć i przeciągnąć.

A więc najpierw wyobraźmy sobie najbardziej optymistyczny scenariusz: wszyscy oskarżeni, które Twój algorytm oznaczy jako posiadający wysoki wynik ryzyka, zostaną ponownie aresztowani, a wszyscy oskarżeni, którzy uzyskali niski wynik ryzyka, nie. Poniżej nasza grafika przedstawia, jak to może wyglądać. Wypełnione kółka to oskarżeni, którzy zostali ponownie aresztowani; puste kręgi to ci, których nie było.

Teraz przesuń próg, aby algorytm był jak najbardziej sprawiedliwy.

(Innymi słowy, do więzienia powinni trafić tylko oskarżeni.)

Świetny! To było łatwe. Twój próg powinien wynosić od 6 do 7. Nikt nie został niepotrzebnie zatrzymany, a nikt, kto został zwolniony, nie został ponownie aresztowany.

Ale oczywiście ten idealny scenariusz nigdy się nie dzieje. Nie da się idealnie przewidzieć wyniku dla każdej osoby. Oznacza to, że wypełnionych i pustych kropek nie da się tak starannie oddzielić.

Oto kto zostaje ponownie aresztowany.

Teraz ponownie przesuń próg, aby algorytm był jak najbardziej sprawiedliwy.

(Wskazówka: chcesz zmaksymalizować jego dokładność.)

Zauważysz, że bez względu na to, gdzie ustawisz próg, nigdy nie jest idealnie: zawsze zamykamy w więzieniu niektórych oskarżonych, którzy nie zostaną ponownie aresztowani (puste kropki po prawej stronie progu) i zwalniamy niektórych oskarżonych, którzy zostali ponownie aresztowani (wypełnione kropki do na lewo od progu). Jest to kompromis, z którym nasz system prawa karnego zawsze miał do czynienia i nie inaczej jest, gdy używamy algorytmu.

Aby te kompromisy były bardziej zrozumiałe, zobaczmy, jaki procent błędnych prognoz włącza COMPAS każda strona progu, zamiast tylko mierzyć ogólną dokładność. Teraz będziemy mogli wyraźnie zobaczyć, czy nasz próg sprzyja niepotrzebnemu przetrzymywaniu ludzi w więzieniu lub zwalnianiu osób, które są następnie ponownie aresztowane.4 Zauważ, że domyślny próg COMPAS sprzyja temu drugiemu.

Notatka

• 4. Definicje techniczne

  Te dwa procenty błędów są również znane jako współczynnik fałszywie negatywnych (który oznaczyliśmy jako zwolniony, ale ponownie zablokowany) i współczynnik fałszywie pozytywnych (który oznaczyliśmy niepotrzebnie więzieniem).

Jak powinniśmy sprawiedliwie zrównoważyć ten kompromis? Nie ma uniwersalnej odpowiedzi, ale w latach 60. XVIII wieku angielski sędzia William Blackstone napisał: „Lepiej, aby uciekło dziesięciu winnych, niż cierpi ten jeden niewinny”.

Współczynnik Blackstone'a jest nadal bardzo wpływowy w Stanach Zjednoczonych. Wykorzystajmy go więc do inspiracji.

Przesuń próg do miejsca, w którym odsetek uwolnionych, ale ponownie aresztowanych, jest około 10 razy większy niż odsetek niepotrzebnie uwięzionych.

Widać już dwa problemy przy użyciu algorytmu takiego jak COMPAS. Po pierwsze, lepsze przewidywanie zawsze może pomóc w zmniejszeniu wskaźników błędów we wszystkich dziedzinach, ale nigdy nie może ich całkowicie wyeliminować. Bez względu na to, ile danych zbieramy, dwie osoby, które wyglądają tak samo dla algorytmu, zawsze mogą dokonać różnych wyborów.

Drugi problem polega na tym, że nawet jeśli konsekwentnie stosujesz się do zaleceń COMPAS, ktoś — człowiek — musi najpierw zdecydować, gdzie powinien znajdować się próg wysokiego ryzyka, czy to za pomocą współczynnika Blackstone, czy czegoś innego. To zależy od wszelkiego rodzaju względów — politycznych, ekonomicznych i społecznych.

Teraz przejdziemy do trzeciego problemu. W tym miejscu nasze poszukiwania sprawiedliwości stają się interesujące. Jak wypada porównanie wskaźników błędów w różnych grupach? Czy są pewne typy ludzi, którzy są bardziej narażeni na niepotrzebne przetrzymywanie?

Zobaczmy, jak wyglądają nasze dane, gdy weźmiemy pod uwagę rasę oskarżonych.

Teraz przesuń każdy próg, aby zobaczyć, jak inaczej wpływa on na czarnych i białych oskarżonych.

Rasa jest przykładem klasy chronionej w USA, co oznacza, że ​​dyskryminacja na tej podstawie jest nielegalna. Inne klasy chronione obejmują płeć, wiek i niepełnosprawność.

Teraz, gdy rozdzieliliśmy czarnych i białych oskarżonych, odkryliśmy, że chociaż wyścig nie jest używany do obliczania wyników ryzyka COMPAS, wyniki mają różne poziomy błędów dla obu grup. Przy domyślnym progu COMPAS między 7 a 8, 16% czarnych oskarżonych, którzy nie zostali ponownie aresztowani, zostało niepotrzebnie uwięzionych, podczas gdy to samo dotyczy tylko 7% białych oskarżonych. To wcale nie wydaje się sprawiedliwe! To jest dokładnie to, co ProPublica podświetlony w swoim dochodzeniu.

Dobra, więc naprawmy to.

Przesuń każdy próg, aby biali i czarni oskarżeni byli niepotrzebnie wsadzani do więzienia w mniej więcej takim samym tempie.

(Istnieje wiele rozwiązań. Wybraliśmy jedno, ale możesz spróbować znaleźć inne.)

Próbowaliśmy ponownie osiągnąć współczynnik Blackstone, więc doszliśmy do następującego rozwiązania: biali oskarżeni mają próg między 6 a 7, podczas gdy czarni mają próg między 8 a 9. Obecnie około 9% zarówno czarnych, jak i białych oskarżonych, którzy tego nie robią t, którzy zostali ponownie aresztowani, niepotrzebnie trafiają do więzienia, podczas gdy 75% tych, którzy to robią, zostaje ponownie aresztowanych po tym, jak nie spędzili czasu w więzieniu. Dobra robota! Twój algorytm wydaje się teraz znacznie sprawiedliwszy niż COMPAS.

Ale czekaj – czy to prawda? W procesie dopasowywania poziomów błędów między wyścigami straciliśmy coś ważnego: nasze progi dla każdej grupy znajdują się w różnych miejscach, więc nasze oceny ryzyka oznaczają różne rzeczy dla białych i czarnych oskarżonych.

Biali oskarżeni trafiają do więzienia za 7 punktów za ryzyko, ale czarni zostają wypuszczeni za ten sam wynik. To po raz kolejny wydaje się niesprawiedliwe. Dwie osoby z tym samym wynikiem ryzyka mają takie samo prawdopodobieństwo ponownego aresztowania, więc czy nie powinny otrzymać takiego samego leczenia? W Stanach Zjednoczonych stosowanie różnych progów dla różnych ras może również powodować skomplikowane kwestie prawne zagadnienia z 14 poprawką, klauzulą ​​równej ochrony Konstytucji.

Spróbujmy więc jeszcze raz z jednym progiem dzielonym między obie grupy.

Ponownie przesuń próg, aby biali i czarni oskarżeni byli niepotrzebnie wsadzani do więzienia w tym samym tempie.

Jeśli jesteś sfrustrowany, to jest dobry powód. Nie ma rozwiązania.

Podaliśmy dwie definicje uczciwości: utrzymuj porównywalne wskaźniki błędów między grupami i traktuj ludzi z tymi samymi ocenami ryzyka w ten sam sposób. Obie te definicje można całkowicie obronić! Ale zaspokojenie obu naraz jest niemożliwe.

Powodem jest to, że czarno-biali oskarżeni są ponownie aresztowani w różnym tempie. Podczas gdy 52% czarnoskórych oskarżonych zostało ponownie aresztowanych w naszych danych z hrabstwa Broward, tylko 39% białych oskarżonych zostało ponownie aresztowanych. Podobna różnica występuje w wielu jurysdykcjach w Stanach Zjednoczonych, po części ze względu na historię tego kraju, w którym policja nieproporcjonalnie atakuje mniejszości (jak wspomnieliśmy wcześniej).

Prognozy odzwierciedlają dane użyte do ich sporządzenia — czy to za pomocą algorytmu, czy nie. Jeśli czarnoskórzy oskarżeni są aresztowani częściej niż biali oskarżeni w prawdziwym świecie, ich przewidywany wskaźnik aresztowań jest również wyższy. Oznacza to, że będą również mieli średnio wyższe wyniki w zakresie ryzyka, a większy odsetek z nich zostanie oznaczony jako wysokiego ryzyka — zarówno poprawnie, jak i niepoprawnie . To prawda bez względu na algorytm jest używany, o ile został zaprojektowany tak, aby każdy wynik ryzyka oznaczał to samo, niezależnie od rasy.

Ten dziwny konflikt definicji sprawiedliwości nie ogranicza się tylko do algorytmów oceny ryzyka w systemie prawa karnego. Ten sam rodzaj paradoksów dotyczy algorytmów oceny zdolności kredytowej, ubezpieczenia i zatrudniania. W każdym kontekście, w którym zautomatyzowany system podejmowania decyzji musi przydzielać środki lub kary między wiele grup, które mają różne wyniki, różne definicje sprawiedliwości nieuchronnie okażą się wzajemnie wykluczające.

Nie ma algorytmu, który mógłby to naprawić; to nie jest nawet algorytmiczny problem, naprawdę. Ludzcy sędziowie są w tej chwili dokonywanie tego samego rodzaju wymuszonych kompromisów – i robiło to przez całą historię.

Ale oto co algorytm ma zmieniony. Chociaż sędziowie mogą nie zawsze jasno określać, w jaki sposób wybierają między różnymi koncepcjami sprawiedliwości, ludzie mogą kwestionować ich decyzje. W przeciwieństwie do tego COMPAS, który jest produkowany przez prywatną firmę Northpointe, jest tajemnicą handlową, której nie można publicznie sprawdzić ani przesłuchać. Oskarżeni nie mogą już kwestionować jego wyników, a agencje rządowe tracą możliwość kontrolowania procesu decyzyjnego. Nie ma już odpowiedzialności publicznej.

Co więc powinni zrobić regulatorzy? Proponowana ustawa o odpowiedzialności algorytmicznej z 2019 r. jest przykładem dobrego początku, mówi Andrew Selbst, profesor prawa na Uniwersytecie Kalifornijskim, który specjalizuje się w sztucznej inteligencji i prawie. Projekt ustawy, który ma na celu uregulowanie stronniczości w zautomatyzowanych systemach podejmowania decyzji, ma dwie godne uwagi cechy, które służą jako szablon dla przyszłych przepisów. Po pierwsze, wymagałoby to od firm przeprowadzenia audytu swoich systemów uczenia maszynowego pod kątem stronniczości i dyskryminacji w ocenie skutków. Po drugie, nie określa definicji uczciwości.

Dzięki ocenie wpływu bardzo przejrzyście mówisz o tym, jak jako firma podchodzisz do kwestii uczciwości, mówi Selbst. To przywraca do debaty odpowiedzialność publiczną. Ponieważ uczciwość oznacza różne rzeczy w różnych kontekstach, dodaje, unikanie konkretnej definicji pozwala na tę elastyczność.

Ale to, czy algorytmy powinny być używane do rozstrzygania o sprawiedliwości, jest skomplikowanym pytaniem. Algorytmy uczenia maszynowego są szkolone na danych generowanych przez historię wykluczenia i dyskryminacji, pisze w swojej książce Ruha Benjamin, adiunkt na Uniwersytecie Princeton. Wyścig po technologii . Narzędzia oceny ryzyka nie różnią się. Ważniejsze pytanie dotyczące ich używania – lub jakichkolwiek algorytmów używanych do oceniania ludzi – dotyczy tego, czy zmniejszają one istniejące nierówności, czy je pogarszają.

Selbst zaleca ostrożne postępowanie: za każdym razem, gdy przekształca się filozoficzne pojęcia sprawiedliwości w wyrażenia matematyczne, tracą one niuanse, elastyczność i plastyczność, mówi. Nie oznacza to, że niektóre z korzyści płynących z tego w końcu nie będą opłacalne. Po prostu mam wątpliwości.

Słowa i kod autorstwa Karen Hao i Jonathana Straya. Doradztwo projektowe od Emily Luong i Emily Caulfield. Montaż dokonali Niall Firth i Gideon Lichfield. Specjalne podziękowania dla Rashida Richardson z AI Teraz, Mutale Nkonde z Berkman Klein Center i William Izaak z DeepMind za ich przegląd i konsultacje.

Korekta: Poprzednia wersja artykułu zawierała informacje o narzędziu oceny ryzyka innym niż COMPAS. Został usunięty, aby uniknąć zamieszania.

ukryć