Nadchodząca wojna z ukrytymi algorytmami, które więzią ludzi w ubóstwie

Daniel Zender

Miriam miała zaledwie 21 lat, kiedy poznała Nicka. Była fotografką, świeżo po studiach, czekała przy stolikach. Był od niej 16 lat starszy i był właścicielem lokalnego biznesu, który pracował w finansach. Był czarujący i charyzmatyczny; zabierał ją na wymyślne randki i za wszystko płacił. Szybko wpadła na jego orbitę.

Zaczęło się od jednej karty kredytowej. W tamtym czasie był to jedyny, jaki miała. Nick zmaksymalizowałby go z zakupami biznesowymi o wartości 5000 USD i natychmiast spłacił je następnego dnia. Miriam, która poprosiła mnie, abym nie używała ich prawdziwych nazwisk z obawy przed ingerencją w toczące się postępowanie rozwodowe, odkryła, że ​​to poprawiało jej zdolność kredytową. Dorastając z samotnym ojcem w gospodarstwie domowym o niskich dochodach, ufała wiedzy Nicka nad własną. Chętnie zachęcał do dynamiki, mówiąc jej, że nie rozumie finansów. Otworzyła dla niego więcej kart kredytowych pod swoim nazwiskiem.

Kłopoty zaczęły się po trzech latach. Nick poprosił ją, by rzuciła pracę, aby pomóc w jego biznesie. Ona zrobiła. Powiedział jej, żeby poszła do szkoły wyższej i nie martwiła się, że zwiększy swój dotychczasowy dług studencki. Ona zrobiła. Obiecał zająć się wszystkim, a ona mu uwierzyła. Wkrótce potem przestał regulować saldo jej karty kredytowej. Jej wynik zaczął się zmniejszać.

Mimo to Miriam została z nim. Pobrali się. Mieli troje dzieci. Pewnego dnia FBI przyszło do ich domu i aresztowało go. W sądzie federalnym sędzia skazał go za prawie 250 000 dolarów oszustwa. Miriam odkryła pełną skalę dziesiątek tysięcy dolarów długu, który zaciągnął w jej imieniu. W dniu, w którym trafił do więzienia, miałam 250 dolarów gotówki, dom w przejęciu, samochód do przejęcia, troje dzieci, mówi. Udało mi się w ciągu miesiąca od posiadania niani i mieszkania w ładnym domu i wszystkiego do naprawdę skrajnej biedy.

Miriam przeżyła tak zwany dług przymusowy, formę nadużycia zwykle popełnianego przez bliskiego partnera lub członka rodziny. Podczas gdy nadużycia gospodarcze są długotrwałym problemem, bankowość cyfrowa ułatwiła otwieranie kont i zaciąganie pożyczek w imieniu ofiary, mówi Carla Sanchez-Adams, prawniczka z Texas RioGrande Legal Aid. W erze automatycznych algorytmów oceny kredytowej reperkusje mogą być również znacznie bardziej niszczycielskie.

Oceny kredytowe są używane od dziesięcioleci do oceny zdolności kredytowej konsumentów, ale ich zakres jest znacznie szerszy teraz, gdy są zasilane przez algorytmy: nie tylko uwzględniają znacznie więcej danych, zarówno pod względem ilości, jak i rodzaju, ale w coraz większym stopniu wpływają na to, czy można kupić samochód, wynajmij mieszkanie lub zdobądź pracę na pełen etat. Ich wszechstronny wpływ oznacza, że ​​jeśli Twój wynik zostanie zrujnowany, odzyskanie go może być prawie niemożliwe. Co gorsza, algorytmy są własnością prywatnych firm, które nie ujawniają, w jaki sposób podejmują decyzje. Ofiary mogą być zesłane po spirali w dół, która czasami kończy się bezdomnością lub powrotem do sprawcy.

Algorytmy scoringowe nie są jedynymi, które wpływają na dobrobyt ekonomiczny ludzi i dostęp do podstawowych usług. Algorytmy decydują teraz, które dzieci trafią do pieczy zastępczej, którym pacjentom zapewniona jest opieka medyczna, a którym rodzinom dostęp do stabilnego mieszkania. Ci z nas, którzy mają środki, mogą przejść przez życie nieświadomi tego. Jednak dla osób o niskich dochodach szybki rozwój i przyjęcie zautomatyzowanych systemów podejmowania decyzji stworzył ukrytą sieć powiązanych ze sobą pułapek.

Na szczęście wokół tej kwestii zaczyna organizować się coraz większa grupa prawników cywilnych. Pożyczając podręcznik ze świata obrony kryminalnej przeciwko algorytmom oceny ryzyka, starają się edukować w zakresie tych systemów, budować społeczność i opracowywać strategie postępowania sądowego. W zasadzie każdy prawnik cywilny zaczyna się tym zajmować, ponieważ wszyscy nasi klienci są w jakiś sposób dotknięci tymi systemami, mówi Michele Gilman, profesor prawa klinicznego na Uniwersytecie w Baltimore. Musimy się obudzić, poćwiczyć. Jeśli chcemy być naprawdę dobrymi prawnikami holistycznymi, musimy być tego świadomi.

Czy przeanalizuję algorytm?

Gilman od 20 lat prowadzi praktykę prawniczą w Baltimore. W swojej pracy jako prawnik cywilny i prawnik ds. ubóstwa jej sprawy zawsze sprowadzały się do tych samych rzeczy: reprezentowania osób, które utraciły dostęp do podstawowych potrzeb, takich jak mieszkanie, żywność, edukacja, praca lub opieka zdrowotna. Czasami oznacza to zmierzenie się z agencją rządową. Innym razem jest to agencja sporządzająca raporty kredytowe lub wynajmujący. Coraz częściej walka o kwalifikowalność klienta obejmuje teraz pewien rodzaj algorytmu.

Mówi, że dzieje się to na całym świecie z naszymi klientami. Są uwikłani w tak wiele różnych algorytmów, które uniemożliwiają im dostęp do podstawowych usług. A klienci mogą nie zdawać sobie z tego sprawy, bo wiele z tych systemów jest niewidocznych.

W przypadku osób o niskich dochodach jedna chwilowa trudna sytuacja ekonomiczna może prowadzić do błędnego koła, które czasami kończy się bankructwem lub bezdomnością.

JON TYSON / UNSPLASH

Nie pamięta dokładnie, kiedy zdała sobie sprawę, że niektóre decyzje kwalifikacyjne zostały podjęte przez algorytmy. Ale kiedy to przejście zaczęło się po raz pierwszy, rzadko było to oczywiste. Kiedyś reprezentowała starszego, niepełnosprawnego klienta, który w niewytłumaczalny sposób został odcięty od pomocy domowej, finansowanej przez Medicaid. Nie mogliśmy dowiedzieć się dlaczego, wspomina Gilman. Robiła się coraz bardziej chora i normalnie, jeśli chorujesz, masz więcej godzin, a nie mniej.

Dopiero gdy stanęli na sali sądowej w środku rozprawy, świadek reprezentujący stan ujawnił, że rząd właśnie przyjął nowy algorytm. Świadek, pielęgniarka, nie potrafił nic z tego wyjaśnić. Oczywiście, że nie – kupili to z półki, mówi Gilman. Jest pielęgniarką, a nie informatykiem. Nie potrafiła odpowiedzieć, jakie czynniki na to składają. Jak to jest ważone? Jakich wyników szukasz? Więc jestem z moim studentem prawnikiem, który jest ze mną w mojej klinice i to jest jak: „Och, czy mam zamiar przebadać algorytm?”

Dla Kevina De Libana, prawnika z Legal Aid of Arkansas, zmiana była równie podstępna. W 2014 r. jego stan ustanowił również nowy system dystrybucji pomocy domowej finansowanej przez Medicaid, odcinając całą rzeszę osób, które wcześniej były uprawnione. W tamtym czasie on i jego koledzy nie byli w stanie zidentyfikować głównego problemu. Wiedzieli tylko, że coś się zmieniło. Mogliśmy zauważyć, że nastąpiła zmiana w systemach oceniania z kwestionariusza papierowego składającego się z 20 pytań na kwestionariusz elektroniczny składający się z 283 pytań, mówi.

Dopiero dwa lata później, gdy błąd w algorytmie ponownie poddał go prawnej kontroli, De Liban w końcu dotarł do sedna sprawy. Zdał sobie sprawę, że pielęgniarki mówią pacjentom: Cóż, komputer to zrobił – to nie ja. To nas uprzedziło, mówi. „Gdybym wiedział to, co wiedziałem w 2016 roku, prawdopodobnie wykonałbym lepszą pracę w roli adwokata w 2014 roku” – dodaje.

Jedna osoba codziennie przechodzi przez tak wiele systemów

Gilman od tego czasu stał się o wiele bardziej sprytny. Ze swojego punktu widzenia, reprezentującego klientów z różnymi problemami, zaobserwowała powstanie i kolizję dwóch sieci algorytmicznych. Pierwsza składa się z algorytmów sprawozdawczości kredytowej, takich jak te, które usidliły Miriam, które wpływają na dostęp do prywatnych dóbr i usług, takich jak samochody, domy i zatrudnienie. Drugi obejmuje algorytmy przyjęte przez agencje rządowe, które wpływają na dostęp do świadczeń publicznych, takich jak opieka zdrowotna, bezrobocie i usługi alimentacyjne.

Jeśli chodzi o sprawozdawczość kredytową, rozwój algorytmów był napędzany przez mnożenie się danych, których gromadzenie i udostępnianie jest łatwiejsze niż kiedykolwiek. Raporty kredytowe nie są nowe, ale w dzisiejszych czasach ich ślad jest znacznie bardziej rozległy. Agencje sporządzające raporty konsumenckie, w tym biura kredytowe, firmy sprawdzające najemców lub usługi weryfikacji czeków, gromadzą te informacje z wielu różnych źródeł: rejestrów publicznych, mediów społecznościowych, przeglądania stron internetowych, działalności bankowej, korzystania z aplikacji i innych. Algorytmy następnie przypisują ludziom oceny wartości, które mają duży wpływ na weryfikację przeszłości przeprowadzaną przez pożyczkodawców, pracodawców, właścicieli mieszkań, a nawet szkoły.

Z drugiej strony agencje rządowe są zmuszone do przyjmowania algorytmów, gdy chcą zmodernizować swoje systemy. Dążenie do przyjęcia aplikacji internetowych i narzędzi cyfrowych rozpoczęło się na początku XXI wieku i było kontynuowane w kierunku bardziej zautomatyzowanych systemów opartych na danych i sztucznej inteligencji. Są dobre powody, aby szukać tych zmian. Podczas pandemii wiele systemów zasiłków dla bezrobotnych miało trudności z obsłużeniem ogromnej liczby nowych wniosków, co doprowadziło do znacznych opóźnień. Modernizacja tych starszych systemów zapewnia szybsze i bardziej niezawodne wyniki.

Jednak proces zakupu oprogramowania rzadko jest przejrzysty, a zatem brakuje mu odpowiedzialności. Agencje publiczne często kupują zautomatyzowane narzędzia do podejmowania decyzji bezpośrednio od prywatnych dostawców. W rezultacie, gdy systemy zawodzą, dotknięte osoby – i ich prawnicy – ​​pozostają w ciemności. Nigdzie tego nie reklamują, mówi Julia Simon-Mishel, prawniczka z Philadelphia Legal Assistance. Często nie jest to napisane w żadnych przewodnikach politycznych ani podręcznikach dotyczących polityki. Jesteśmy w niekorzystnej sytuacji.

Brak publicznej weryfikacji sprawia również, że systemy są bardziej podatne na błędy. Jedna z najbardziej rażących awarii wydarzyła się w Michigan w 2013 roku. Po dużym wysiłku, aby zautomatyzować stanowy system zasiłków dla bezrobotnych, algorytm błędnie oznaczono ponad 34 000 osób za oszustwo . To spowodowało ogromną utratę korzyści, mówi Simon-Mishel. Były bankructwa; niestety zdarzały się samobójstwa. To był cały bałagan.

Gilman martwi się, że długi i eksmisje związane z koronawirusem zostaną skodyfikowane w punktacji kredytowej, co utrudni ludziom znalezienie pracy, mieszkania i pożyczki.

SCOTT HEINS/GETTY IMAGES

Osoby o niskich dochodach ponoszą ciężar przejścia na algorytmy. Są to ludzie najbardziej narażeni na przejściowe trudności ekonomiczne, które są skodyfikowane w raportach konsumenckich, oraz ci, którzy potrzebują i dążą do świadczeń publicznych. Z biegiem lat Gilman widział coraz więcej przypadków, w których klienci ryzykują wejście w błędne koło. Mówi, że jedna osoba codziennie przechodzi przez tak wiele systemów. To znaczy, wszyscy to robimy. Ale konsekwencje tego są znacznie bardziej dotkliwe dla biednych ludzi i mniejszości.

Jako przykład podaje aktualny przypadek w swojej klinice. Członek rodziny stracił pracę z powodu pandemii i odmówiono mu zasiłku dla bezrobotnych z powodu awarii zautomatyzowanego systemu. Rodzina zalegała z opłatami za czynsz, co skłoniło właściciela do pozwania ich o eksmisję. Chociaż eksmisja nie będzie legalna z powodu moratorium CDC , pozew nadal będzie rejestrowany w publicznych rejestrach. Dane te mogłyby następnie zostać uwzględnione w algorytmach sprawdzających lokatorów, co może utrudnić rodzinie znalezienie stabilnego mieszkania w przyszłości. Niepłacenie czynszu i usług komunalnych może również negatywnie wpływać na ich zdolność kredytową, co po raz kolejny ma swoje reperkusje. Gilman mówi, że jeśli próbują założyć usługę telefonii komórkowej, wziąć pożyczkę, kupić samochód lub ubiegać się o pracę, ma to po prostu kaskadowe efekty.

Każdy przypadek zamieni się w przypadek algorytmu

We wrześniu Gilman, który obecnie jest pracownikiem naukowym w instytucie badawczym Data and Society, opublikował raport dokumentowanie wszystkich różnych algorytmów, z którymi mogą się spotkać prawnicy zajmujący się ubóstwem. Nazywa Lawgorytmy ubóstwa , ma być przewodnikiem dla jej kolegów w terenie. Podzielony na konkretne obszary praktyki, takie jak prawo konsumenckie, prawo rodzinne, mieszkalnictwo i świadczenia publiczne, wyjaśnia, jak radzić sobie z problemami wynikającymi z algorytmów i innych technologii opartych na danych w ramach obowiązujących przepisów.

Jeśli klientowi odmówiono mieszkania ze względu na słabą ocenę kredytową, raport zaleca, aby prawnik najpierw sprawdził, czy dane wprowadzane do systemu scoringowego są prawidłowe. Zgodnie z ustawą o rzetelnej sprawozdawczości kredytowej agencje sprawozdawcze są zobowiązane do zapewnienia ważności swoich informacji, ale nie zawsze tak się dzieje. Zakwestionowanie wadliwych roszczeń może pomóc w przywróceniu kredytu klienta, a tym samym w dostępie do mieszkania. Raport przyznaje jednak, że istniejące przepisy mogą iść tylko tak daleko. Gilman mówi, że wciąż istnieją luki regulacyjne do wypełnienia.

Gilman ma nadzieję, że raport będzie dzwonkiem alarmowym. Wielu jej kolegów wciąż nie zdaje sobie sprawy z tego, co się dzieje, i nie są w stanie zadać właściwych pytań, aby odkryć algorytmy. Ci, którzy są świadomi problemu, są rozproszeni po Stanach Zjednoczonych, ucząc się, nawigując i walcząc z tymi systemami w odosobnieniu. Widzi możliwość ich połączenia i stworzenia szerszej społeczności ludzi, którzy mogą sobie nawzajem pomóc. Wszyscy potrzebujemy więcej szkoleń, więcej wiedzy – nie tylko w prawie, ale także w tych systemach, mówi. Ostatecznie to tak, jakby każdy przypadek zamienił się w przypadek algorytmu.

Powiązana historia

Logowanie, aby zostać wyrzuconym: Wewnątrz wirtualnego kryzysu eksmisyjnego w Ameryce Tysiące najemców jest wyrzucanych ze swoich domów przez telefon i rozmowy wideo.

Na dłuższą metę szuka inspiracji w świecie prawa karnego. Mówi, że prawnicy kryminalni wyprzedzili konkurencję, organizując się jako społeczność i odrzucając algorytmy oceny ryzyka, które określają wyrok. Chce, aby prawnicy cywilni robili to samo: stworzyli ruch, który wprowadziłby większą publiczną kontrolę i regulacje do ukrytej sieci algorytmów, z którymi borykają się ich klienci. W niektórych przypadkach prawdopodobnie należy je po prostu zamknąć, ponieważ nie ma sposobu, aby było to sprawiedliwe, mówi.

Co do Miriam, po skazaniu Nicka odeszła na dobre. Przeprowadziła się z trójką dzieci do nowego stanu i była związana z organizacją non-profit, która wspiera osoby, które przeżyły wymuszony dług i przemoc domową. Za ich pośrednictwem wzięła udział w serii zajęć, które nauczyły ją zarządzania swoimi finansami. Organizacja pomogła jej zwolnić wiele wymuszonych długów i dowiedzieć się więcej o algorytmach kredytowych. Kiedy poszła kupić samochód, jej zdolność kredytowa ledwo przekroczyła minimum z tatą jako współsygnatariuszem. Od tego czasu jej stałe płatności za samochód i dług studencki powoli uzupełniają jej zdolność kredytową.

Miriam nadal musi być czujna. Nick ma jej numer ubezpieczenia społecznego i jeszcze się nie rozwiedli. Ciągle się martwi, że mógłby otworzyć więcej kont, zaciągnąć więcej pożyczek w jej imieniu. Przez jakiś czas codziennie sprawdzała swój raport kredytowy pod kątem nieuczciwych działań. Ale w dzisiejszych czasach ma też coś, na co czeka. Jej tata, po sześćdziesiątce, chce przejść na emeryturę i wprowadzić się. Oboje są teraz skupieni na laserowych przygotowaniach do zakupu domu. Jestem bardzo podekscytowany. Moim celem jest osiągnięcie do końca roku 700, mówi o swoim wyniku, a potem zdecydowanie jestem gotowa na zakup domu.

Nigdy nie mieszkałam w domu, którego byłam właścicielką, dodaje. On i ja pracujemy razem, aby ocalić dom na zawsze.

ukryć