211service.com
Prognozujące algorytmy policyjne są rasistowskie. Muszą zostać zdemontowane.
Franziska Barczyk
Yeshimabeit Milner była w liceum, kiedy po raz pierwszy zobaczyła dzieci, które znała, jak zostały zakute w kajdanki i wepchnięte do policyjnych samochodów. Był 29 lutego 2008 roku i dyrektor pobliskiej szkoły w Miami, zamieszkałej w większości przez Haitańczyków i Afroamerykanów, zdławił jednego ze swoich uczniów. Następnego dnia kilkadziesiąt dzieciaków zorganizowało pokojową demonstrację. Nie poszło dobrze.
Tej nocy NBC 6 News at Six w Miami rozpoczął się od segmentu o nazwie Chaos on Campus. (Jest klip na YouTube .) Napięcie w Edison Senior High jest wysokie po tym, jak walka o prawa kończy się walką z prawem, podała transmisja. Cięcie na niewyraźne nagranie telefonu przedstawiające krzyczących nastolatków: Chaos, który widzisz, to totalna bójka w szkolnej stołówce.
Studenci powiedzieli dziennikarzom, że policja uderzyła ich pałkami, rzuciła na podłogę i popychała na ściany. Policja twierdziła, że to oni zostali zaatakowani — butelkami z wodą, napojami gazowanymi, mlekiem i tak dalej — i wezwała pomoc w nagłych wypadkach. Około 25 studentów zostało aresztowanych, a wielu zostało oskarżonych o liczne przestępstwa, w tym stawianie oporu podczas aresztowania z użyciem przemocy. Milner pamięta, jak oglądała w telewizji i widziała dzieci, które poszła do szkoły podstawowej, kiedy została aresztowana. To było takie szalone, mówi.
„Istnieje długa historia wykorzystywania danych przeciwko społecznościom czarnoskórych”.
Dla Milnera wydarzenia tamtego dnia i długoterminowe konsekwencje dla aresztowanych były kluczowe. Niedługo potem, jeszcze w szkole, zaangażowała się w aktywizm oparty na danych, dokumentując doświadczenia kolegów z pracy na tle rasistowskiej policji. Obecnie jest dyrektorem Dane dla Black Lives , oddolną organizację zajmującą się prawami cyfrowymi, którą współtworzyła w 2017 roku. To, czego nauczyła się jako nastolatka, popchnęło ją do życia w walce z stronniczość w sądownictwie karnym i demontaż tego, co nazywa rurociągiem ze szkoły do więzienia. Mówi, że istnieje długa historia wykorzystywania danych przeciwko społecznościom czarnych.
Nierówność i nadużywanie władzy policji nie tylko bawić się na ulicach lub podczas szkolnych zamieszek. Milner i inni aktywiści skupiają się teraz na tym, gdzie istnieje największy potencjał długotrwałych szkód: na narzędziach policyjnych przewidujących i nadużywaniu danych przez siły policyjne. Szereg badań wykazało, że te narzędzia uwiecznić systemowy rasizm , a mimo to nadal niewiele wiemy o tym, jak działają, kto ich używa i w jakim celu. Wszystko to musi się zmienić, zanim nastąpi właściwe rozliczenie. Na szczęście sytuacja może się odwrócić.
Istnieją dwa ogólne typy narzędzi do prowadzenia działań predykcyjnych. Algorytmy oparte na lokalizacji wykorzystują powiązania między miejscami, wydarzeniami i historycznymi wskaźnikami przestępczości, aby przewidzieć, gdzie i kiedy przestępstwo jest bardziej prawdopodobne — na przykład w określonych warunkach pogodowych lub podczas dużych imprez sportowych. Narzędzia identyfikują gorące punkty, a policja planuje patrole wokół tych wskazówek. Jeden z najczęstszych, zwany PredPol, używany przez dziesiątki miast w USA , dzieli lokalizacje na bloki o wymiarach 500 na 500 stóp i aktualizuje swoje prognozy w ciągu dnia — rodzaj kryminalnej prognozy pogody.
Inne narzędzia wykorzystują dane o ludziach, takie jak ich wiek, płeć, stan cywilny, historia nadużywania substancji odurzających i przeszłość kryminalna, aby przewidzieć, kto ma duże szanse na zaangażowanie się w przyszłą działalność przestępczą. Narzędzia te mogą być wykorzystywane przez policję, aby interweniować przed popełnieniem przestępstwa, lub przez sądy w celu ustalenia podczas rozpraw przedprocesowych lub wydania wyroku, czy osoba, która została aresztowana, może ponownie popełnić przestępstwo. Na przykład narzędzie o nazwie COMPAS, używane w wielu jurysdykcjach do podejmowania decyzji o tymczasowym zwolnieniu i skazaniu, wystawia wynik statystyczny od 1 do 10, aby określić, jak prawdopodobne jest ponowne aresztowanie osoby w przypadku zwolnienia.
Problem tkwi w danych, którymi żywią się algorytmy. Po pierwsze, algorytmy predykcyjne są łatwo wypaczone przez wskaźniki aresztowań. Według danych Departamentu Sprawiedliwości USA, jesteś ponad dwukrotnie większe prawdopodobieństwo aresztowania jeśli jesteś czarny niż jeśli jesteś biały. Osoba czarna ma pięć razy większą szansę na zatrzymanie bez uzasadnionej przyczyny niż osoba biała. Masowe aresztowanie w Edison Senior High było tylko jednym z przykładów nieproporcjonalnej reakcji policji, która nie jest rzadkością w społecznościach czarnych.
Dzieciaki, które Milner obserwował podczas aresztowania, były przez całe życie wystawiane na stronniczą ocenę z powodu tego aktu aresztowania. Ale tego dnia wpłynęło to nie tylko na ich własne życie. Dane wygenerowane przez ich aresztowania zostałyby wprowadzone do algorytmów, które w nieproporcjonalny sposób byłyby skierowane do wszystkich młodych Czarnych ludzi ocenianych przez algorytmy. Chociaż zgodnie z prawem algorytmy nie wykorzystują rasy jako predyktora, inne zmienne, takie jak pochodzenie społeczno-ekonomiczne, wykształcenie i kod pocztowy, działają jako proxy. Nawet bez wyraźnego uwzględnienia rasy, narzędzia te są rasistowskie.
Dlatego dla wielu problemem jest sama koncepcja predykcyjnego działania policji. Pisarz i naukowiec Dorota Roberts , który studiuje prawo i prawa społeczne na University of Pennsylvania, dobrze to ujął panel dyskusyjny online w czerwcu. Rasizm zawsze polegał na przewidywaniu, sprawianiu, by pewne grupy rasowe wydawały się predysponowane do robienia złych rzeczy i dlatego usprawiedliwiały ich kontrolowanie.
Oceny ryzyka są częścią systemu sądownictwa karnego od dziesięcioleci. Jednak w ciągu ostatnich kilku lat policja i sądy w większym stopniu korzystały z narzędzi automatycznych z dwóch głównych powodów. Po pierwsze, cięcia budżetowe doprowadziły do zwiększenia wydajności. Ludzie dzwonią, by pozbawić policję środków, ale już zostali zwolnieni, mówi Milner. Miasta od lat bankrutują i zastępują gliniarzy algorytmami. Dokładne dane są trudne do zdobycia, ale uważa się, że narzędzia prognostyczne są używane przez siły policyjne lub sądy w większości stanów USA.
Drugim powodem zwiększonego wykorzystania algorytmów jest powszechne przekonanie, że są one bardziej obiektywne niż ludzie: po raz pierwszy wprowadzono je, aby podejmowanie decyzji w systemie wymiaru sprawiedliwości w sprawach karnych było bardziej sprawiedliwe. Począwszy od lat 90. wczesne zautomatyzowane techniki wykorzystywały drzewa decyzyjne oparte na regułach, ale dziś przewidywanie odbywa się za pomocą uczenia maszynowego.
BANKI GLINY PRZEZ UNSPLASHJuż coraz więcej dowodów sugeruje, że w narzędziach tych wszczepiono ludzkie uprzedzenia, ponieważ modele uczenia maszynowego są szkolone na nieobiektywnych danych policyjnych. Dalecy od unikania rasizmu, mogą po prostu lepiej go ukrywać. Wielu krytyków uważa teraz te narzędzia za forma tech-washing , gdzie pozorem obiektywności kryją się mechanizmy utrwalające nierówności w społeczeństwie.
Tak naprawdę dopiero w ciągu ostatnich kilku lat poglądy ludzi na te narzędzia zmieniły się z czegoś, co może łagodzić uprzedzenia, w coś, co może je umocnić, mówi Alicja Xiang , prawnik i naukowiec zajmujący się danymi, który prowadzi badania dotyczące uczciwości, przejrzystości i odpowiedzialności w Partnerstwie na rzecz AI. Te uprzedzenia zostały spotęgowane od czasu, gdy pierwsza generacja narzędzi prognostycznych pojawiła się 20 lub 30 lat temu. W pierwszej kolejności wzięliśmy złe dane, a potem użyliśmy narzędzi, aby je pogorszyć, mówi Katy Weatherington , który studiuje błędy algorytmiczne na University of Colorado Boulder. To tylko samo-wzmacniająca się pętla.
Sprawy mogą się pogarszać. W ślad za protesty przeciwko uprzedzeniom policji po śmierci George'a Floyda z rąk funkcjonariusza policji w Minneapolis niektóre wydziały policji podwajają stosowanie narzędzi prognostycznych. Miesiąc temu komisarz nowojorskiej policji Dermot Shea wysłał list do swoich funkcjonariuszy. W obecnym klimacie musimy inaczej walczyć z przestępczością – napisał. Zrobimy to z mniejszą liczbą przystanków na ulicach – być może narażając cię na mniejsze niebezpieczeństwo i odpowiedzialność – jednocześnie lepiej wykorzystując dane, dane wywiadowcze i całą technologię, którą mamy do dyspozycji… Oznacza to, że ze strony NYPD podwoimy naszą precyzję… działania policyjne.
Policji podoba się pomysł narzędzi, które dają im ostrzeżenie i pozwalają im na wczesną interwencję, ponieważ uważają, że zmniejszają one przestępczość, mówi Rashida Richardson , dyrektor ds. badań politycznych w AI Now Institute. Jednak w praktyce ich używanie może wydawać się nękaniem. Naukowcy odkryli, że niektóre wydziały policji dają funkcjonariuszom listy najbardziej poszukiwanych osób, które narzędzie identyfikuje jako osoby o wysokim ryzyku. Po raz pierwszy wyszło to na jaw, gdy ludzie w Chicago donieśli, że policja pukała do ich drzwi i informowała ich, że są obserwowani. W innych stanach, mówi Richardson, policja ostrzegała ludzi z list, że są narażeni na wysokie ryzyko uwikłania w przestępczość związaną z gangami, i prosiła ich o podjęcie działań w celu uniknięcia tego. Jeśli zostali później aresztowani za jakiekolwiek przestępstwo, prokuratorzy wykorzystali uprzednie ostrzeżenie do dochodzenia wyższych zarzutów. To prawie jak cyfrowa forma pułapki, w której podaje się ludziom pewne niejasne informacje, a następnie ma je przeciwko nim, mówi.
„To prawie jak cyfrowa forma pułapki”.
Podobnie studia – w tym jeden na zlecenie brytyjskiego rządu Centrum Etyki i Innowacji w zakresie Danych w zeszłym roku – zasugeruj, że zidentyfikowanie pewnych obszarów jako punktów zapalnych powoduje, że funkcjonariusze spodziewają się kłopotów podczas patrolu, co zwiększa prawdopodobieństwo, że zatrzymają lub aresztują tam ludzi z powodu uprzedzeń, a nie z potrzeby.
Innym problemem związanym z algorytmami jest to, że wielu z nich zostało przeszkolonych na białych populacjach poza Stanami Zjednoczonymi, częściowo dlatego, że trudno jest uzyskać dostęp do rejestrów karnych w różnych jurysdykcjach USA. Static 99, narzędzie zaprojektowane do przewidywania recydywy wśród przestępców seksualnych, zostało przeszkolone w Kanadzie, gdzie tylko około 3% populacji to osoby czarnoskóre, w porównaniu z 12% w USA. Kilka innych narzędzi używanych w USA zostało opracowanych w Europie, gdzie 2% populacji to osoby czarnoskóre. Ze względu na różnice w warunkach społeczno-ekonomicznych między krajami i populacjami narzędzia będą prawdopodobnie mniej dokładne w miejscach, w których nie zostały przeszkolone. Co więcej, niektóre algorytmy przedprocesowe wytrenowane wiele lat temu nadal używają nieaktualnych predyktorów. Na przykład niektórzy nadal przewidują, że pozwany, który nie ma telefonu stacjonarnego, jest mniej prawdopodobne, że pojawi się w sądzie.
Ale czy te narzędzia działają, nawet jeśli niedoskonale? To zależy, co rozumiesz przez pracę. Ogólnie rzecz biorąc, praktycznie niemożliwe jest oddzielenie stosowania predykcyjnych narzędzi policyjnych od innych czynników, które wpływają na wskaźniki przestępczości lub skazanych. Mimo to garść małych badań wyciągnęła ograniczone wnioski. Niektóre wskazują na to, że wykorzystanie przez sądy narzędzi oceny ryzyka miało niewielki pozytywny wpływ. A Badanie z 2016 r. dotyczące narzędzia do uczenia maszynowego używanego w Pensylwanii do informowania o decyzjach o zwolnieniu warunkowym nie znalazła dowodów na to, że zagrażała bezpieczeństwu publicznemu (to znaczy prawidłowo zidentyfikowała osoby wysokiego ryzyka, które nie powinny być warunkowo zwolnione) oraz pewne dowody na to, że zidentyfikowała osoby, które nie stosowały przemocy, które można bezpiecznie zwolnić.
Rashida Richardson jest dyrektorem ds. badań politycznych w AI Now Institute. Wcześniej kierowała pracami nad kwestiami prawnymi dotyczącymi prywatności i nadzoru w Amerykańskiej Unii Swobód Obywatelskich.
Dzięki uprzejmości AI TERAZInne badanie z 2018 r. dotyczyło narzędzie używane przez sądy w Kentucky i stwierdzili, że chociaż wyniki oceny ryzyka były interpretowane w sposób niespójny między powiatami, co prowadziło do rozbieżności w tym, kto został zwolniony, a kto nie, narzędzie to zmniejszyłoby nieznacznie wskaźniki skazanych, gdyby było używane właściwie. A American Civil Liberties Union informuje, że narzędzie oceny przyjęte jako część ustawy o reformie wymiaru sprawiedliwości w sprawach karnych w stanie New Jersey z 2017 r. doprowadziło do 20% spadek liczby osadzonych w oczekiwaniu na proces .
Zwolennicy takich narzędzi twierdzą, że algorytmy mogą być bardziej sprawiedliwe niż ludzie podejmujący decyzje, a przynajmniej ujawniać niesprawiedliwość. W wielu przypadkach, zwłaszcza na rozprawach przedprocesowych o zwolnienie za kaucją, oczekuje się, że sędziowie w krótkim czasie przeanalizują dziesiątki spraw. W jednym z badań przesłuchań przedprocesowych w Cook County w stanie Illinois naukowcy odkryli, że sędziowie rozpatrują każdy przypadek średnio zaledwie 30 sekund.
W takich warunkach rozsądne jest założenie, że sędziowie podejmują pochopne decyzje, kierując się przynajmniej częściowo ich osobistymi uprzedzeniami. Melissa Hamilton na uniwersytecie w Surrey w Wielkiej Brytanii, który zajmuje się zagadnieniami prawnymi dotyczącymi narzędzi oceny ryzyka, krytykuje ich stosowanie w praktyce, ale uważa, że zasadniczo mogą one wykonywać lepszą pracę niż ludzie. Alternatywą jest czarnoskrzynkowy mózg ludzkiego decydenta, mówi.
Ale jest oczywisty problem. Dane dotyczące aresztowań wykorzystywane do szkolenia narzędzi prognostycznych nie dają dokładnego obrazu działalności przestępczej. Wykorzystywane są dane dotyczące aresztowania, ponieważ są one rejestrowane przez policję. Ale aresztowania niekoniecznie prowadzą do wyroków skazujących. Próbujemy zmierzyć liczbę osób popełniających przestępstwa, ale wszystko, co mamy, to dane o aresztowaniach, mówi Xiang.
„Próbujemy zmierzyć liczbę osób popełniających przestępstwa, ale wszystko, co mamy, to dane dotyczące aresztowań”.
Co więcej, dane z aresztowań kodują wzorce rasistowskich zachowań policji. W rezultacie są bardziej skłonni przewidzieć wysoki potencjał przestępczości w dzielnicach mniejszości lub wśród osób z mniejszości. Nawet jeśli dane o aresztowaniach i przestępstwach pasują do siebie, istnieje mnóstwo powodów społeczno-ekonomicznych, dla których niektóre populacje i niektóre dzielnice mają wyższe historyczne wskaźniki przestępczości niż inne. Dostarczanie tych danych do narzędzi prognostycznych pozwala przeszłości kształtować przyszłość.
Niektóre narzędzia wykorzystują również dane o tym, gdzie wykonano wezwanie na policję, co jest jeszcze słabszym odzwierciedleniem rzeczywistych wzorców przestępczości niż dane dotyczące aresztowań, a jeszcze więcej wypaczone rasistowskimi motywacjami . Rozważać sprawa Amy Cooper , który zadzwonił na policję tylko dlatego, że czarny obserwator ptaków, Christian Cooper, poprosił ją, by przywiązała psa na smyczy w nowojorskim Central Parku.
Tylko dlatego, że ktoś dzwoni, że doszło do przestępstwa, nie oznacza, że rzeczywiście doszło do przestępstwa, mówi Richardson. Jeśli połączenie stanie się punktem danych, aby uzasadnić wysłanie policji do określonej okolicy lub nawet skierować do określonej osoby, otrzymasz pętlę sprzężenia zwrotnego, w której technologie oparte na danych uzasadniają dyskryminujące działania policyjne.
Ponieważ coraz więcej krytyków twierdzi, że narzędzia te nie są odpowiednie do celu, pojawiają się nawoływania do pewnego rodzaju algorytmicznej akcji afirmatywnej, w której stronniczość danych jest w jakiś sposób równoważona. Jednym ze sposobów na zrobienie tego dla algorytmów oceny ryzyka, teoretycznie, byłoby użycie zróżnicowanych progów ryzyka — trzy aresztowania w przypadku osoby czarnej mogą wskazywać na ten sam poziom ryzyka, co, powiedzmy, dwa aresztowania w przypadku osoby białej.
Było to jedno z podejść zbadanych w badaniu publikować d w maju Jennifer Skeem, która studiuje politykę publiczną na Uniwersytecie Kalifornijskim w Berkeley, oraz Christophera Lowenkamp, analityka nauk społecznych w Biurze Administracyjnym Sądów Stanów Zjednoczonych w Waszyngtonie. Para przyjrzała się trzem różnym opcjom usuwania błędów w algorytmach, które oceniały ryzyko recydywy dla około 68 000 uczestników, w połowie białych i w połowie czarnych. Odkryli, że najlepszą równowagę między rasami osiągnięto, gdy algorytmy wyraźnie wzięły pod uwagę rasę – czego istniejącym narzędziom zabrania się prawnie – i przypisały czarnoskórym wyższy próg niż białym, jeśli chodzi o uznanie za wysokie ryzyko.
Oczywiście ten pomysł jest dość kontrowersyjny. Oznacza to zasadniczo manipulowanie danymi w celu wybaczenia pewnej części przestępstw ze względu na rasę sprawcy, mówi Xiang: To jest coś, co sprawia, że ludzie czują się bardzo niekomfortowo. Pomysł trzymania członków różnych grup według różnych standardów jest sprzeczny z poczuciem sprawiedliwości wielu ludzi, nawet jeśli odbywa się to w sposób, który ma zaradzić historycznej niesprawiedliwości. (Możesz wypróbować ten kompromis dla siebie w naszym interaktywna opowieść o stronniczości algorytmicznej w systemie prawa karnego , który umożliwia eksperymentowanie z uproszczoną wersją narzędzia COMPAS).
W każdym razie amerykański system prawny nie jest gotowy na taką dyskusję. Zawód prawnika był daleko w tyle za tymi narzędziami oceny ryzyka, mówi Hamilton. Od kilku lat prowadzi szkolenia dla prawników i stwierdziła, że obrońcy często nie są nawet świadomi, że ich klienci są oceniani w ten sposób. Jeśli nie jesteś tego świadomy, nie będziesz tego kwestionować, mówi.
Za brak świadomości można winić niejasność ogólnego obrazu: organy ścigania tak mało mówiły o tym, jak wykorzystują te technologie, że bardzo trudno jest każdemu ocenić, jak dobrze działają. Nawet jeśli informacje są dostępne, trudno jest powiązać jeden system z jednym wynikiem. A kilka szczegółowych badań, które zostały przeprowadzone, koncentruje się na konkretnych narzędziach i wyciąga wnioski, które mogą nie mieć zastosowania do innych systemów lub jurysdykcji.
Nie jest nawet jasne, jakie narzędzia są używane i kto ich używa. Nie wiemy, ile departamentów policji stosowało lub obecnie stosuje działania policyjne oparte na przewidywaniu, mówi Richardson.
Na przykład fakt, że policja w Nowym Orleanie korzystała z narzędzia predykcyjnego opracowanego przez firmę Palantir, zajmującą się tajnym eksploracją danych, wyszedł na jaw dopiero po śledztwo The Verge . A dane publiczne pokazują, że Departament Policji Nowego Jorku zapłacił Palantir . 2,5 miliona dolarów ale nie mówi po co.
GETTYWiększość narzędzi jest licencjonowana przez wydziały policji przez mieszankę małych firm, władz państwowych i badaczy. Niektóre z nich to systemy zastrzeżone; niektórzy nie. Wszystkie działają w nieco inny sposób. Na podstawie wyników narzędzi naukowcy odtwarzają najlepiej jak potrafią to, co ich zdaniem się dzieje.
Hamid Khan, aktywista, który przez lata walczył o to, by policja z Los Angeles upuściła narzędzie predykcyjne o nazwie PredPol, zażądał audytu narzędzia przez generalnego inspektora policji. Według Chan , w marcu 2019 r. inspektor generalny stwierdził, że zadanie jest niemożliwe, ponieważ narzędzie jest tak skomplikowane.
W Wielkiej Brytanii Hamilton próbował przyjrzeć się narzędziu o nazwie OASys, które – podobnie jak COMPAS – jest powszechnie używane podczas rozpraw przedprocesowych, wydawania wyroków i warunkowego zwolnienia. Firma, która tworzy OASys, przeprowadza własne audyty i nie opublikowała zbyt wielu informacji o tym, jak to działa, mówi Hamilton. Wielokrotnie próbowała uzyskać informacje od programistów, ale przestali odpowiadać na jej prośby. Mówi, myślę, że sprawdzili moje studia i zdecydowali: Nie.
Znany sposób powstrzymania się firm, które produkują te narzędzia, polega na tym, że nie mogą udostępniać informacji, ponieważ oznaczałoby to rezygnację z tajemnic handlowych lub poufnych informacji o osobach ocenianych przez narzędzia.
Wszystko to oznacza, że szczegółowo zbadano tylko garstkę, choć o kilku z nich dostępne są pewne informacje. Static 99 został opracowany przez grupę naukowców zajmujących się danymi, którzy podzielili się szczegółami na temat jego algorytmów. Ocena bezpieczeństwa publicznego, jedno z najpopularniejszych narzędzi oceny ryzyka przedprocesowego w USA, została pierwotnie opracowana przez prywatną organizację Arnold Ventures, ale okazało się, że łatwiej jest przekonać jurysdykcje do jej przyjęcia, jeśli zostaną ujawnione pewne szczegóły dotyczące jej działania , mówi Hamilton. Mimo to twórcy obu narzędzi odmówili udostępnienia zestawów danych, których używali do szkolenia, które byłyby potrzebne do pełnego zrozumienia ich działania.
Zakup narzędzia do oceny ryzyka podlega tym samym przepisom, co zakup pługa śnieżnego.
Nie tylko istnieje niewielki wgląd w mechanizmy wewnątrz tych narzędzi, ale krytycy twierdzą, że policja i sądy nie robią wystarczająco dużo, aby upewnić się, że kupują narzędzia, które działają zgodnie z oczekiwaniami. Według NYPD zakup narzędzia do oceny ryzyka podlega tym samym przepisom, co zakup pługa śnieżnego, mówi Milner.
„Policja jest w stanie z pełną szybkością kupować technologię, nie wiedząc, czego używają, nie inwestując czasu, aby upewnić się, że można z niej bezpiecznie korzystać”, mówi Richardson. A potem nie ma trwającego audytu ani analizy, aby ustalić, czy to w ogóle działa.
Wysiłki, aby to zmienić, spotkały się z oporem. W zeszłym miesiącu Nowy Jork przeszedł ten Ustawa o nadzorze publicznym nad technologią nadzoru (POST) , który wymaga od NYPD wykazania wszystkich swoich technologii nadzoru i opisania ich wpływu na mieszkańców miasta. NYPD to największa policja w USA, a zwolennicy projektu mają nadzieję, że ujawnienie rzuci również światło na to, z jakich technologii korzystają inne departamenty policji w kraju. Ale dotarcie tak daleko było trudne. Richardson, który zajmował się rzecznictwem ustawy, obserwował ją w stanie zawieszenia od 2017 r., dopóki powszechne wezwania do reformy policji w ciągu ostatnich kilku miesięcy nie przechyliły szali opinii.
To właśnie frustracja związana z próbą znalezienia podstawowych informacji o praktykach policji cyfrowej w Nowym Jorku skłoniła Richardsona do pracy nad ustawą. Policja stawiała opór, gdy ona i jej koledzy chcieli dowiedzieć się więcej o korzystaniu przez NYPD z narzędzi inwigilacyjnych. Żądania ustawy o wolności informacji i postępowania sądowe przez Związek Swobód Obywatelskich w Nowym Jorku nie działały. W 2015 roku, z pomocą radnego Daniela Garodnika, zaproponowali ustawę, która wymusza tę kwestię.
Doświadczyliśmy znacznego sprzeciwu ze strony NYPD, w tym paskudnej kampanii PR sugerującej, że ustawa dawała mapę miasta terrorystom, mówi Richardson. Nie było poparcia burmistrza i wrogiej rady miejskiej.
Ze względu na problemy etyczne i brak przejrzystości obecny stan działań policyjnych przewidujących jest bałaganem. Ale co można z tym zrobić? Xiang i Hamilton uważają, że narzędzia algorytmiczne mogą być bardziej sprawiedliwe niż ludzie, o ile wszyscy zaangażowani w ich tworzenie i używanie są w pełni świadomi swoich ograniczeń i celowo starają się, aby były sprawiedliwe.
Ale to wyzwanie nie jest tylko techniczne. Potrzebne jest rozliczenie, co zrobić z nastawieniem w danych, ponieważ to pozostanie. Niesie ze sobą blizny pokoleń policji, mówi Weathington.
A co to znaczy mieć uczciwy algorytm, nie jest czymś, na co mogą odpowiedzieć informatycy, mówi Xiang. Nie jest to coś, na co każdy może odpowiedzieć. To pytanie, jak wyglądałby sprawiedliwy system wymiaru sprawiedliwości w sprawach karnych. Nawet jeśli jesteś prawnikiem, nawet jeśli jesteś etykiem, nie możesz udzielić na to jednoznacznej odpowiedzi.
To są fundamentalne pytania, których nie da się rozwiązać w tym sensie, że problem matematyczny może być rozwiązany – dodaje.
Hamilton zgadza się. Organizacje zajmujące się prawami obywatelskimi mają trudny wybór, mówi: Jeśli sprzeciwiasz się ocenie ryzyka, prawdopodobnie więcej mniejszości pozostanie w zamknięciu. Jeśli akceptujesz ocenę ryzyka, jesteś współwinny promowania uprzedzeń rasowych w algorytmach.
Ale to nie znaczy, że nic nie można zrobić. Richardson mówi, że decydentów politycznych należy wezwać za ich taktyczną ignorancję na temat wad tych narzędzi. Na przykład NYPD była zaangażowana w: dziesiątki spraw sądowych dotyczące lat stronniczych działań policyjnych. Nie rozumiem, jak można aktywnie zajmować się negocjacjami ugodowymi dotyczącymi praktyk rasistowskich i nadal uważać, że dane wynikające z tych praktyk można wykorzystać – mówi.
Yeshimabeit Milner jest współzałożycielem i dyrektorem Data for Black Lives, oddolnego kolektywu aktywistów i informatyków wykorzystujących dane do reformy wymiaru sprawiedliwości w sprawach karnych.
DZIĘKI UPRZEJMOŚCI DANYCH DLA CZARNEGO ŻYCIADla Milnera kluczem do wprowadzenia zmian jest zaangażowanie najbardziej dotkniętych osób. W 2008 roku, po obejrzeniu aresztowań tych dzieciaków, które znała, Milner dołączyła do organizacji, która przeprowadziła ankietę wśród około 600 młodych ludzi na temat ich doświadczeń z aresztowaniami i brutalnością policji w szkołach, a następnie przekształciła to, czego się dowiedziała, w komiks. Młodzi ludzie w całym kraju wykorzystali komiks, aby rozpocząć podobną pracę tam, gdzie mieszkali.
Dziś jej organizacja, Data for Black Lives, koordynuje około 4000 inżynierów oprogramowania, matematyków i aktywistów na uniwersytetach i w centrach społeczności. Narzędzia do oceny ryzyka nie są jedynym sposobem, w jaki niewłaściwe wykorzystanie danych utrwala systemowy rasizm, ale jest to jeden z nich w ich oczach. Nie zamierzamy powstrzymać każdej prywatnej firmy przed opracowaniem narzędzi do oceny ryzyka, ale możemy zmienić kulturę i edukować ludzi, dać im sposoby na odepchnięcie, mówi Milner. W Atlancie szkolą ludzi, którzy spędzili czas w więzieniu, aby studiowali dane, aby mogli odegrać rolę w reformowaniu technologii wykorzystywanych przez wymiar sprawiedliwości w sprawach karnych.
W międzyczasie Milner, Weathington, Richardson i inni uważają, że policja powinna przestać używać wadliwych narzędzi predykcyjnych, dopóki nie będzie uzgodnionego sposobu, aby uczynić je bardziej sprawiedliwymi.
Większość ludzi zgodziłaby się, że społeczeństwo powinno mieć możliwość decydowania, kto stanowi zagrożenie dla innych. Ale zastąpienie uprzedzonego gliniarza lub sędziego algorytmami, które jedynie ukrywają te same uprzedzenia, nie jest odpowiedzią. Jeśli jest choć szansa, że będą utrwalać praktyki rasistowskie, należy ich odciągnąć.
Jednak, jak przekonali się zwolennicy zmian, potrzeba wielu lat, aby coś zmienić, z oporem na każdym kroku. To nie przypadek, że zarówno Khan, jak i Richardson zauważyli postęp po tygodniach ogólnokrajowego oburzenia na brutalność policji. Ostatnie powstania zdecydowanie działały na naszą korzyść, mówi Richardson. Ale zajęło to również pięć lat ciągłej presji ze strony jej i innych adwokatów. Khan też od lat prowadził kampanię przeciwko policji predykcyjnej w LAPD.
Ta presja musi trwać, nawet po zakończeniu marszów. Eliminacja stronniczości nie jest rozwiązaniem technicznym, mówi Milner. To wymaga głębszej i, szczerze mówiąc, mniej seksownej i bardziej kosztownej zmiany polityki.