Policja w USA szkoli sztuczną inteligencję przewidującą przestępczość na sfałszowanych danych

David McNowy/Personel

W maju 2010 roku, pod wpływem serii głośnych skandali, burmistrz Nowego Orleanu zwrócił się do Departamentu Sprawiedliwości USA o zbadanie policji miejskiej (NOPD). Dziesięć miesięcy później Departament Sprawiedliwości zaoferował swoje analiza pęcherzy : w okresie kontroli od 2005 r. NOPD wielokrotnie naruszało prawo konstytucyjne i federalne.

Używał nadmiernej siły i nieproporcjonalnie przeciwko czarnym mieszkańcom; ukierunkowane mniejszości rasowe, osoby niebędące rodzimymi użytkownikami języka angielskiego i osoby LGBTQ; i nie zajęła się przemocą wobec kobiet. Problemy, powiedział asystent prokuratora generalnego Thomasa Pereza w tamtym czasie byli poważni, szeroko zakrojeni, systemowi i głęboko zakorzenieni w kulturze departamentu.

Pomimo niepokojących ustaleń, miasto wkroczyło w tajne partnerstwo zaledwie rok później z firmą Palantir zajmującą się eksploracją danych, aby wdrożyć predykcyjny system policyjny. System wykorzystywał dane historyczne, w tym rejestry aresztowań i elektroniczne raporty policyjne, do prognozowania przestępczości i pomagania w kształtowaniu strategii bezpieczeństwa publicznego, zgodnie z: Spółka oraz władze miasta materiały. W żadnym momencie materiały te nie sugerowały żadnych wysiłków w celu oczyszczenia lub poprawienia danych w celu usunięcia naruszeń ujawnionych przez Departament Sprawiedliwości. Najprawdopodobniej uszkodzone dane zostały wprowadzone bezpośrednio do systemu, wzmacniając dyskryminacyjne praktyki departamentu.

Algorytmy przewidujące działania policji stają się powszechną praktyką w miastach w całych Stanach Zjednoczonych. Chociaż brak przejrzystości utrudnia ustalenie dokładnych statystyk, PredPol, wiodący dostawca, chwali się że pomaga chronić 1 na 33 Amerykanów. Oprogramowanie jest często reklamowane jako sposób, aby pomóc rozciągniętym oddziałom policji w podejmowaniu bardziej wydajnych decyzji opartych na danych.

Ale nowe badania sugerują, że nie tylko Nowy Orlean przeszkolił te systemy za pomocą brudnych danych. W papier opublikowanej dzisiaj, która ma zostać opublikowana w NYU Law Review, naukowcy z AI Now Institute, centrum badawczego zajmującego się badaniem społecznego wpływu sztucznej inteligencji, stwierdzili, że problem jest wszechobecny w badanych jurysdykcjach. Ma to istotne implikacje dla skuteczności działania policji predykcyjnej i innych algorytmów wykorzystywanych w systemie sądownictwa karnego.

Twój system jest tak dobry, jak dane, na których go trenujesz, mówi Kate Crawford, współzałożycielka i współdyrektorka AI Now oraz autorka badania. Jeśli same dane są nieprawidłowe, spowoduje to, że więcej zasobów policji będzie koncentrować się na tych samych nadmiernie nadzorowanych i często atakowanych rasowo społecznościach. Więc to, co zrobiłeś, jest w rzeczywistości rodzajem czyszczenia technologicznego, w którym ludzie korzystający z tych systemów zakładają, że są w jakiś sposób bardziej neutralni lub obiektywni, ale w rzeczywistości zakorzenili formę niekonstytucyjności lub nielegalności.

Naukowcy zbadali 13 jurysdykcji, skupiając się na tych, które korzystały z predykcyjnych systemów policyjnych i były przedmiotem dochodzenia na zlecenie rządu. Ten ostatni wymóg zapewniał, że praktyki policyjne posiadały weryfikowalną pod względem prawnym dokumentację. W dziewięciu jurysdykcjach znaleźli mocne dowody na to, że systemy zostały przeszkolone na brudnych danych.

Problemem nie były tylko dane wypaczone przez nieproporcjonalne ukierunkowanie na mniejszości, jak w Nowym Orleanie. W niektórych przypadkach wydziały policji miały kulturę celowego manipulowania lub fałszowania danych pod silną presją polityczną w celu obniżenia oficjalnych wskaźników przestępczości. Na przykład w Nowym Jorku, aby sztucznie zaniżać statystyki przestępczości, komendanci posterunków regularnie prosili ofiary na miejscach przestępstw, aby nie składały skarg. Niektórzy policjanci nawet podrzucali narkotyki niewinnym ludziom, aby osiągnąć limity na aresztowania. We współczesnych predykcyjnych systemach policyjnych, które do przewidywania przestępczości opierają się na uczeniu maszynowym, te uszkodzone punkty danych stają się wiarygodnymi predyktorami.

Wyniki artykułu poddają w wątpliwość ważność predykcyjnych systemów policyjnych. Producenci takiego oprogramowania często twierdzą, że stronnicze wyniki ich narzędzi można łatwo naprawić, mówi Rashida Richardson, dyrektor ds. badań politycznych w AI Now i główny autor badania. Ale we wszystkich tych przypadkach istnieje pewien rodzaj problemu systemowego, który znajduje odzwierciedlenie w danych, mówi. Dlatego lekarstwo wymagałoby znacznie więcej niż tylko usunięcia jednego lub dwóch przypadków złego zachowania. Nie jest łatwo oddzielić dobre dane od złych lub dobrych gliniarzy od złych gliniarzy, dodaje Jason Schultz, kierownik badań Instytutu ds. prawa i polityki, inny autor badania.

Sprzedawcy twierdzą również, że unikają danych, które z większym prawdopodobieństwem odzwierciedlają uprzedzenia, takie jak aresztowania związane z narkotykami, i zamiast tego wybierają wkłady szkoleniowe, takie jak telefony pod numer 911. Ale naukowcy znaleźli tyle samo uprzedzeń w rzekomo bardziej neutralnych danych. Ponadto odkryli, że dostawcy nigdy nie przeprowadzają niezależnego audytu danych wprowadzanych do ich systemów.

Powiązana historia

Powiązana historia Wykorzystanie danych historycznych do szkolenia narzędzi oceny ryzyka może oznaczać, że maszyny kopiują błędy z przeszłości.

Artykuł rzuca światło na kolejną debatę toczącą się w USA na temat korzystania z narzędzi oceny ryzyka kryminalnego, które wykorzystują również uczenie maszynowe, aby pomóc określić wszystko, od losu oskarżonych podczas postępowania przygotowawczego po surowość ich wyroków. Dane, które omawiamy w tym artykule, dotyczą nie tylko działań policyjnych, mówi Richardson. Jest używany w całym systemie sądownictwa karnego.

Obecnie znaczna część debaty koncentruje się na mechanice samego systemu — czy można go zaprojektować w celu uzyskania matematycznie sprawiedliwych wyników. Ale naukowcy podkreślają, że to błędne pytanie. Oddzielenie pytania o algorytm od systemu społecznościowego, z którym jest on połączony i w którym jest osadzony, nie zaprowadzi cię zbyt daleko, mówi Schultz. Naprawdę musimy uznać ograniczenia tego rodzaju matematycznych, opartych na obliczeniach prób rozwiązania problemu uprzedzeń.

W przyszłości naukowcy mają nadzieję, że ich prace pomogą przeformułować debatę tak, aby skupić się na szerszym systemie, a nie na samym narzędziu. Mają też nadzieję, że skłoni to rządy do stworzenia mechanizmów, takich jak: algorytmiczne ramy oceny skutków wydany w zeszłym roku instytut, aby zapewnić większą przejrzystość, odpowiedzialność i nadzór nad korzystaniem z narzędzi do automatycznego podejmowania decyzji.

Mówią, że jeśli społeczne i polityczne mechanizmy generujące brudne dane nie zostaną zreformowane, takie narzędzia przyniosą tylko więcej szkody niż pożytku. Kiedy ludzie to zrozumieją, być może debata w końcu przesunie się na sposoby wykorzystania uczenia maszynowego i innych postępów technologicznych, aby faktycznie powstrzymać pierwotną przyczynę [przestępczości], mówi Richardson. Być może uda nam się rozwiązać problemy związane z ubóstwem, bezrobociem i mieszkalnictwem, korzystając z danych rządowych w bardziej korzystny sposób.

ukryć