Tajne algorytmy zagrażają praworządności

Przewidywanie i kształtowanie tego, co będziesz robić dalej — jako kupujący, pracownik lub wyborca ​​— to duży biznes dla firm opartych na danych. Ale czy ich metody powinny informować także sędziów i prokuratorów? Ambitny program przewidywania recydywy wśród skazanych wprowadza algorytmiczne oceny ryzyka do amerykańskich sądów.

Oceny te są przedłużeniem trendu w kierunku: instrumenty prognozy aktuarialnej na ryzyko recydywy. Mogą wydawać się naukowe, zastrzykem racjonalności obliczeniowej do systemu sądownictwa karnego, pełnego dyskryminacji i nieefektywności. Są one jednak niepokojące z kilku powodów: wiele z nich jest potajemnie obliczanych; odmawiają rzetelnego procesu i zrozumiałych wyjaśnień oskarżonym; i promują nędzną i nieludzką wizję roli kary w społeczeństwie.

Zacznijmy od tajemnicy – ​​czynnika, który najwyraźniej zaniepokoił nawet Sąd Najwyższy w przypadku oceny ryzyka firmy Northpointe firmy Northpointe. w Loomis przeciwko Wisconsin , sędzia odrzucił ugodę i skazał oskarżonego (Loomisa) na surowszą karę, po części dlatego, że ocena ryzyka COMPAS uznała go za wyższego niż przeciętne ryzyko recydywy. Loomis odwołał się od wyroku, argumentując, że ani on, ani sędzia nie mogą zbadać formuły oceny ryzyka – to tajemnica handlowa.

Frank Pasquale

Stan Wisconsin sprzeciwił się temu, że Northpointe wymagało od niego zachowania poufności algorytmów, aby chronić własność intelektualną firmy. A Sąd Najwyższy Wisconsin podtrzymał wyrok Loomisa, argumentując, że ocena ryzyka była tylko częścią uzasadnienia wyroku. Chciał nadal dawać sędziom możliwość uwzględniania wyniku COMPAS jako jednej części uzasadnienia wyroku, nawet jeśli nie mieli pojęcia, jak go obliczyć.

Prawnicy , naukowcy i aktywiści teraz kwestionują to rozumowanie. Procesy sądowe są w zasadzie otwarte dla publiczności. Sędziowie muszą uzasadnić swoje najważniejsze działania, takie jak skazanie. Kiedy algorytmiczny proces punktacji jest utrzymywany w tajemnicy, to: niemożliwe do zakwestionowania kluczowe jego aspekty. W jaki sposób algorytm waży różne punkty danych i dlaczego? Każde z tych dochodzeń ma kluczowe znaczenie dla dwóch podstawowych zasad prawnych: należytego procesu i możliwości znaczącego odwołania się od negatywnej decyzji.

Należyty proces jest pojęciem otwartym, ale ma kluczowe znaczenie dla legalnych systemów prawnych. Ta podstawowa zasada konstytucyjna daje oskarżonym prawo do zrozumienia, o co im się zarzuca, i jakie są przeciwko nim dowody. Tajny algorytm oceny ryzyka, który oferuje potępiający wynik, jest analogiczny do dowodów przedstawionych przez anonimowy ekspert , którego nie można przesłuchiwać. Każdy sąd świadomy fundamentalnych zasad rządów prawa, a także zasad dotyczących powiadamiania i wyjaśniania decyzji z Piątej i Czternastej Poprawki, byłby bardzo ostrożny, jeśli chodzi o pozwolenie, by państwo opierało zdania (nawet jeśli tylko w części) na tajnym algorytmie.

Dwie formy stronniczości związanej z automatyzacją zagrażają również prawu do znaczącego odwołania. Sędziowie bardzo chętnie zakładają, że metody ilościowe są lepsze od zwykłego rozumowania werbalnego, i redukują zadanie (wydanie) do zastosowania dostępnych danych ilościowych na temat ryzyka recydywy. Obie odpowiedzi podważają złożoność i humanitarny osąd niezbędny do wydania wyroku.

Co gorsza, gdy firmy oferują komercyjne uzasadnienia, aby ukryć swój sekretny sos przed opinią publiczną, sądy chętnie chronią tajemnice handlowe firm oceniających. Ta tendencja jest niepokojąca w kontekście sektora prywatnego , ponieważ czyny komercyjne mogą być popełniane bezkarnie dzięki nieprzejrzystości systemów rankingowych i ocen. Nawet w kontekście głosowanie władze ociężale podchodzą do wymagającego oprogramowania, które jest audytowalne i zrozumiałe przez osoby z zewnątrz . Niemniej jednak sprawa skazania w sprawach karnych powinna być pomostem zbyt daleko dla sumiennych sędziów – i to prawdopodobnie wyjaśnia wyrok Sądu Najwyższego USA zainteresowanie w Loomis. Wysłanie kogoś do więzienia dzięki niewytłumaczalnym, niepodważalnym osądom tajnego programu komputerowego też jest Czarne lustro nawet dla zatwardziałych obrońców korporacyjnych przywilejów.

Co więcej, istnieją opcje między całkowitą tajemnicą algorytmiczną a całkowitym ujawnieniem publicznym. jak ja wyjaśniono w 2010 r. kwalifikowana przejrzystość jest ugruntowaną metodą umożliwiającą niektórym ekspertom ocenę chronionych tajemnic handlowych (w tym kodu i danych firm) w celu przetestowania jakości, ważności i niezawodności systemu. Pomyśl o specjalnym mistrzu w sprawie sądowej lub zabezpieczonych obiektach informacyjnych dla agencji wywiadowczych. Jako absolutne minimum, rządy nie powinny stosować algorytmów takich jak wynik COMPAS bez pewnego rodzaju zewnętrznego zapewnienia jakości, zapewnionego przez kwalifikowaną przejrzystość.

Ale tajemnica to nie jedyny problem. Załóżmy, że algorytmiczna ocena ryzyka w końcu stanie się bardziej upubliczniona dzięki w pełni przejrzystym formułom i danym. Nadal istnieją poważne obawy dotyczące stosowania wyroków opartych na dowodach, ponieważ ilościowa analiza predykcyjna jest często sprzedawana w kontekście wymiaru sprawiedliwości w sprawach karnych.

Na przykład prawnik Sonja Starr ma argumentował że to, co jest naprawdę krytyczne w kontekście wyroku, to nie tylko recydywa sama w sobie, ale różnica, jaką dłuższa kara pozbawienia wolności wpłynie na prawdopodobieństwo ponownego popełnienia przez skazanego przestępstwa. Algorytmiczna ocena ryzyka może w końcu stać się bardzo dobra w przewidywaniu ponownego przestępstwa, ale co z oceną ryzyka samej oceny ryzyka — to znaczy niebezpieczeństwa, że ​​dłuższy wyrok dla przestępcy wysokiego ryzyka może stać się samospełniającą się przepowiednią, biorąc pod uwagę kryminogenne środowisko wiele więzień?

Zrozumiałość narracji ma również wartość w rankingu i ocenie ludzi. Firmy analizują marketing, aby przewidzieć nie tylko prawdopodobieństwo recydywy kryminalnej, ale także szanse, że dana osoba będzie umysłowo chory , złe pracownik , do nieudany uczeń , do kryminalista , lub terrorysta . Nawet jeśli możemy odłożyć na bok podniesione powyżej obawy dotyczące samospełniającej się przepowiedni, oceny te należy przeprowadzać tylko z najwyższą ostrożnością. Kiedyś używano ich do doradzania policji, DHS, nauczycielom lub szefom, nie są one jedynie opiniami krążącymi w swobodnym przepływie pomysłów. Mogą raczej mieć bezpośredni wpływ na źródła utrzymania, wolność i edukację osób. Jeśli nie można ich wyjaśnić w sposób zrozumiały narracyjnie, być może nie należy ich w ogóle używać bez bezpośredniej zgody osoby, którą oceniają.

Ta opinia może nie pasować do tych, którzy postrzegają sztuczną inteligencję jako kolejny krok w ewolucji człowieka. Robotyk Hod Lipson pamiętny w porównaniu starania, aby zaawansowane algorytmiczne przetwarzanie informacji było zrozumiałe dla ludzi, aby wyjaśnić Szekspira psu. Ale ta naładowana metafora kryje więcej, niż ujawnia. Przynajmniej na razie ludzie zarządzają rządami i mogą żądać wyjaśnień decyzji w języku naturalnym, a nie w kodzie komputerowym. Niezastosowanie się do tego w kontekście kryminalnym grozi scedowaniem z natury funkcji rządowych i prawnych na nieobliczalną elitę obliczeniową.

Frank Pasquale jest profesorem prawa na Uniwersytecie Maryland i autorem Towarzystwo Czarnej Skrzynki .

ukryć