Podcast: czy AI może naprawić Twój kredyt?

Pani Tech | Pexels

Oceny kredytowe są używane od dziesięcioleci do oceny zdolności kredytowej konsumentów, ale ich zakres jest znacznie większy teraz, gdy są zasilane przez algorytmy. Nie tylko biorą pod uwagę znacznie więcej danych, zarówno pod względem ilości, jak i rodzaju, ale mają coraz większy wpływ na to, czy możesz kupić samochód, wynająć mieszkanie, czy podjąć pracę na pełen etat. W tej drugiej części serii poświęconej automatyzacji i naszym portfelom badamy, jak bardzo maszyny, które określają naszą zdolność kredytową, wpłynęły znacznie bardziej niż na nasze życie finansowe.

Spotykamy się:

• Chi Chi Wu, prawnik w Krajowym Centrum Prawa Konsumenckiego
• Michele Gilman, profesor prawa na Uniwersytecie w Baltimore
• Mike de Vere, dyrektor generalny Zest AI

Kredyty:

Ten odcinek został wyprodukowany przez Jennifer Strong, Karen Hao, Emmę Cillekens i Anthony'ego Greena. Redaguje nas Michael Reilly.

Transkrypcja:

[ID PRZEGLĄDU TECHNICZNEGO]

Miriam : Nierzadko zdarzało się, że został zamknięty w naszym pokoju hotelowym lub że klucz nie działał, a on musiał zejść do recepcji i go obsłużyć. Nierzadko zdarzało się zapłacić rachunek w restauracji, a potem zwrócić czek.

Jennifer: Zadzwonimy do tej kobiety Miriam, aby chronić jej prywatność. Miała 21 lat, kiedy poznała mężczyznę, którego miała poślubić... i... w ciągu kilku krótkich lat... odwróciła swoje życie... i sytuację finansową... do góry nogami.

Miriam: Ale zawsze miał powód i zawsze była to wina kogoś innego.

Jennifer: Kiedy spotkali się po raz pierwszy, Miram pracowała na dwóch stanowiskach, pisała budżety na tablicy i zmniejszała swój dług studencki.

Jej kredyt był czysty.

Miriam: Zabierał mnie na kolację i zabierał na małe wycieczki, wiesz, dwu- lub trzydniowe wakacje na plażę lub, wiesz, lokalne rzeczy. I zawsze płacił za wszystko i po prostu myślałem, że to było takie zabawne.

Miriam: A potem zaczął pytać, czy mógłby wykorzystać moje puste karty kredytowe do jednego ze swoich biznesów. I pobierał pełną kwotę, około 5000, a potem spłacał ją w ciągu, mam na myśli, dwóch lub trzech dni za każdym razem. A on po prostu nazwał to przerzucaniem. Stało się to przez chwilę. I w tym czasie stało się to po prostu normalną rzeczą. I tak jakby przestałem na to zwracać uwagę.

Jennifer: Aż pewnego dnia... cały jej świat się zawalił.

Miriam: Miałem, zobaczmy sześciolatkę, dwulatkę i czterolatkę, a jest Halloweenowy poranek i jesteśmy w jadalni przygotowując się do zabrania jej do przedszkola. I, um, FBI przyszło i aresztowało mojego męża, i tak jak w filmach, wiesz, przeglądają wszystkie twoje rzeczy i wysyłają do twojego domu bandę mężczyzn w zabłoconych butach i broni.

Jennifer: Sędzia federalny skazał jej męża za popełnienie oszustwa w wysokości ćwierć miliona dolarów... a Miriam odkryła dziesiątki tysięcy dolarów długu w jej imieniu.

Została po to, żeby pozbierać kawałki... i finanse.

Miriam : Mam na myśli, że moja ocena kredytowa była poniżej 500 w pewnym momencie. To znaczy, po prostu gwałtownie spadła, a wykopanie się z tego zajmuje dużo czasu, ale nauczyłem się, że to trochę po trochu… z którego musiałem się nauczyć. Mam na myśli, że od czasu całej tej porażki, um, nigdy niczego nie przegapiłem. To tak, że... ważniejsze niż większość rzeczy... jest utrzymanie złotej zdolności kredytowej.

Jennifer: Jest osobą, która przeżyła tak zwany dług przymusowy. Jest to forma nadużyć ekonomicznych… zwykle ze strony partnera lub członka rodziny.

Miriam: Nie ma fizycznych ran. Prawidłowy. I to nie jest coś, co można po prostu wezwać na policję. A poza tym zazwyczaj nie jest to sytuacja wroga. Zwykle jest ładna, to spokojna rozmowa, w której wchodzi, a potem dostaje to, czego chce.

Jennifer: Nadużycia gospodarcze nie są nowe… ale podobnie jak kradzież tożsamości, stały się o wiele łatwiejsze w cyfrowym świecie formularzy online i zautomatyzowanych decyzji.

Miriam: Wiem, czym jest algorytm. Rozumiem. Ale jak, co masz na myśli mówiąc mój algorytm kredytowy?

Jennifer: Wróciła na nogi… ale wielu tego nie robi… a ponieważ algorytmy nadal przejmują nasz finansowy system kredytowy… niektórzy twierdzą, że może się to pogorszyć.

Gilman: Mamy system, który sprawia, że ​​ludzie, którzy doświadczają trudności, wymykają się spod ich kontroli, wyglądają jak trucizny, co z kolei wpływa na ich zdolność do uzyskania niezbędnych możliwości wyjścia z ubóstwa i uzyskania stabilności ekonomicznej.

Jennifer: Ale inni twierdzą, że prawidłowy Algorytmy oceny kredytowej… mogą być bramą do lepszej przyszłości… gdzie można wykorzenić uprzedzenia… a system uczynić bardziej sprawiedliwym.

Od Vere: Więc z mojej perspektywy kredyt to szansa. Jako społeczeństwo jest naprawdę ważne, abyśmy zrobili to dobrze. Wierzymy, że może istnieć wersja 2.0, wykorzystująca uczenie maszynowe.

Jennifer: Nazywam się Jennifer Strong i w tej drugiej części serii poświęconej automatyzacji i naszym portfelom… badamy, jak bardzo maszyny, które określają naszą zdolność kredytową… wpłynęły znacznie bardziej niż na nasze życie finansowe.

[ID IMWT]

Jennifer: Kiedyś ktoś chciał pożyczyć… nawiązywał relacje z ludźmi w banku lub kasie, którzy podejmowali decyzje o tym, jak bezpieczna lub ryzykowna wydawała się ta inwestycja.

Podobnie jak ta scena z klasycznego bożonarodzeniowego klasyka z lat 40., To wspaniałe życie…, w której główny bohater filmu postanawia pożyczyć klientom własne pieniądze, aby utrzymać swój biznes na powierzchni…. po próbie wybiegu na bank.

Jerzy: Mam 2000 dolarów! Oto 2000 dolarów, które zwiążą nas do czasu ponownego otwarcia banku. W porządku, Tom, ile potrzebujesz?

Tomek: 242 dolarów.

Jerzy: Och Tom. Wystarczająco, żeby cię przetrzymać, aż do ponownego rozliczenia banku….

Tomek: Wezmę $242!

Jerzy: Tutaj jesteś.

Tomek: To zamknie moje konto.

Jerzy: Twoje konto jest nadal tutaj. To pożyczka!

Jennifer: W dzisiejszych czasach banki udzielają pożyczek, nigdy nie spotykając wielu swoich klientów… Często decyzje te są zautomatyzowane… na podstawie danych z raportu kredytowego… który śledzi takie rzeczy, jak salda kart kredytowych, kredyty samochodowe, zadłużenie studenckie… i obejmuje mieszankę innych dane osobiste…

W latach pięćdziesiątych branża poszukiwała sposobu na standaryzację tych raportów… więc naukowcy zajmujący się danymi wymyślili sposób, aby zebrać te informacje… przepuścić je przez model komputerowy i wypluć liczbę….

To twoja zdolność kredytowa… i to nie tylko banki wykorzystują je do podejmowania decyzji. W zależności od tego, gdzie mieszkasz, wszystkie rodzaje grup odnoszą się do tego numeru… w tym właścicieli… firm ubezpieczeniowych… a nawet pracodawców.

Wu: Konsumenci nie są klientami biur kredytowych. Jesteśmy lub nasze dane są towarem. Nie jesteśmy klientami, jesteśmy kurczakiem. My, to my jesteśmy tym, co się sprzedaje….

Jennifer: Chi Chi Wu jest rzecznikiem konsumentów i adwokatem w Krajowym Centrum Prawa Konsumenckiego.

Wu: W rezultacie bodźce na tym rynku są trochę pomieszane. Zachęty mają służyć potrzebom wierzycieli i innych użytkowników raportów, a nie konsumentów.

Jennifer: Jeśli chodzi o raporty kredytowe, jest trzech posiadaczy kluczy…. Equifax, Experian i Transunion.

Ale te raporty nie są wyczerpujące… i mogą być niedokładne.

Wu: W raportach kredytowych występuje niedopuszczalnie wysoki poziom błędów. Um, teraz dane z ostatecznego badania przeprowadzonego przez federalną komisję ds. handlu wykazały, że jeden na pięciu konsumentów miał zweryfikowany błąd w swoim raporcie kredytowym. A jeden na 20 lub 5% miał błąd tak poważny, że odmówiono by mu kredytu lub musiałby zapłacić więcej.

Jennifer: Skargi do rządu federalnego na te doniesienia wybuchły w ostatnich latach… a w zeszłym roku podczas pandemii? Podwojono skargi na błędy.

Stanowią one ponad połowę wszystkich skarg składanych do C-F-P-B – lub Biura Ochrony Finansowej Konsumentów rządu USA.

Ale Wu wierzy, że nawet bez żadnych błędów sposób wykorzystania oceny kredytowej… jest problemem.

Wu: Więc problemem są pracodawcy... właściciele. Zaczynają patrzeć na raporty kredytowe i oceny kredytowe jako swego rodzaju odzwierciedlenie podstawowej odpowiedzialności danej osoby, jej wartości jako osoby, jej charakteru. I to jest po prostu całkowicie błędne. Widzimy, że ludzie kończą z negatywnymi informacjami w swoich raportach kredytowych, ponieważ mają problemy finansowe, ponieważ stało się im coś złego. Więc ludzie, którzy stracili pracę, którzy zachorowali. Um, nie mogą zapłacić rachunków. A ta pandemia jest tego doskonałą ilustracją i naprawdę widać to w rasowych różnicach w ocenie kredytowej. Oceny kredytowe społeczności czarnych są znacznie niższe niż społeczności białych, a społeczności łacińskich X są gdzieś pomiędzy. I nie ma nic wspólnego z charakterem. Ma wszystko, co wiąże się z nierównością.

Jennifer: A ponieważ branża zastępuje starsze metody oceny kredytowej uczeniem maszynowym… obawia się, że może to utrwalić problem.

Wu: A jeśli pozostawione bez kontroli, jeśli nie ma nad tym celowej kontroli, jeśli nie będziemy się tego obawiać, to samo stanie się z tymi algorytmami, które przytrafiły się scoringowi kredytowemu, co będzie utrudniać postęp historycznie zmarginalizowanych społeczności .

Jennifer: Szczególnie martwi się o firmy, które obiecują, że ich algorytmy oceny kredytowej są bardziej sprawiedliwe, ponieważ używają alternatywnych danych… danych, które podobno są mniej podatne na uprzedzenia rasowe…

Wu: Na przykład rachunek za telefon komórkowy, czy czynsz, um, do bardziej dziwacznych, dziwacznych, big data. To, co znajduje się w twoim kanale mediów społecznościowych dla pierwszego typu alternatywnych danych, które są w pewnym sensie konwencjonalne lub finansowe, hm, moja mantra polegała na szczegółach diabła. Niektóre z tych danych wyglądają obiecująco. Inne rodzaje tych danych mogą być bardzo ryzykowne. Więc to jest moja troska o sztuczną inteligencję i uczenie maszynowe. Nie to, że nigdy nie powinniśmy ich używać. Po prostu musisz ich użyć, prawda? Musisz używać ich świadomie. Mogą być rozwiązaniem. Jeśli powiedzą im, że jednym z Twoich celów jest zminimalizowanie dysproporcji między grupami zmarginalizowanymi. Wiesz, że Twoim celem jest bycie tak samo przewidywalnym lub bardziej przewidywalnym przy mniejszych rozbieżnościach.

Jennifer: Kongres rozważa ograniczenie przez pracodawców korzystania z raportów kredytowych... a niektóre stany wprowadziły zakaz ustalania stawek ubezpieczeniowych... lub dostępu do tanich mieszkań.

Ale świadomość jest również problemem.

Gilman: Istnieje wiele szkód związanych z raportowaniem kredytowym, które dotykają ludzi bez ich wiedzy. A jeśli nie wiesz, że zostałeś skrzywdzony, nie możesz uzyskać pomocy ani środków zaradczych,

Jennifer: Michelle Gilman jest profesorem prawa klinicznego na Uniwersytecie w Baltimore…

Gilman: W szkole prawniczej nie uczono mnie o algorytmicznym podejmowaniu decyzji, a większość studentów prawa nadal tego nie uczy. I mogą być bardzo przestraszeni myślą o konieczności kwestionowania algorytmu.

Jennifer: Nie jest pewna, kiedy po raz pierwszy zauważyła, że ​​algorytmy podejmują decyzje za jej klientów. Ale wyróżnia się jeden przypadek… starszego i niepełnosprawnego klienta, którego godziny opieki domowej w ramach programu Medicaid zostały drastycznie skrócone… mimo że klient coraz bardziej chorował…

Gilman: Dopiero gdy staliśmy przed sędzią prawa administracyjnego na zakwestionowanej rozprawie, stało się jasne, że redukcja godzin była spowodowana algorytmem. A jednak świadek stanu, który był pielęgniarką, nie potrafił nic wyjaśnić na temat algorytmu. Po prostu powtarzała w kółko, że została zweryfikowana na szczeblu międzynarodowym i statystycznie, ale nie mogła nam powiedzieć, jak to działa, jakie dane zostały do ​​niego wprowadzone, jakie czynniki ważyły, w jaki sposób były ważone. I tak mój student prawnik patrzy na mnie, a my patrzymy na siebie myśląc, jak zbadać algorytm?

Jennifer: Nawiązała kontakt z innymi prawnikami w całym kraju, którzy doświadczali tego samego. I zdała sobie sprawę, że problem jest znacznie większy…

Gilman: A jeśli chodzi o algorytmy, działają one w niemal każdym aspekcie życia naszych klientów.

Jennifer: A algorytmy raportowania kredytowego są najbardziej rozpowszechnione.

Jej firma widzi ofiary, które zostają obarczone nieoczekiwanym długiem...czasami z powodu trudności... innym razem z powodu rachunków medycznych...lub...z powodu kradzieży tożsamości, gdy ktoś inny bierze pożyczki w Twoim imieniu...

Ale wpływ jest taki sam… obniża ocenę kredytową… a nawet po spłaceniu długu może mieć długoterminowe skutki.

Gilman: Jako dobry prawnik ds. konsumentów musimy wiedzieć, że czasami samo rozstrzygnięcie faktycznego sporu przed Tobą nie wystarczy. Musisz także wyjść i oczyścić efekty domina tych systemów algorytmicznych. Wielu prawników zajmujących się ubóstwem podziela te same uprzedzenia, co ogół społeczeństwa, jeśli chodzi o postrzeganie wyników generowanych przez komputer i myślenie, że są one neutralne, obiektywne i poprawne. To w jakiś sposób magia. To jak kalkulator. I żadne z tych założeń nie jest prawdziwe, ale potrzebujemy szkolenia i zasobów, aby zrozumieć, jak działają te systemy. A potem musimy jako społeczność opracować lepsze narzędzia, abyśmy mogli przesłuchiwać te systemy, abyśmy mogli kwestionować te systemy.

Jennifer: Po przerwie… Przyglądamy się wysiłkom zmierzającym do zautomatyzowania uczciwości w raportowaniu kredytowym.

[w trakcie]

Od Vere: AI pomaga na dwa sposoby: to więcej danych i lepsza matematyka. A więc jeśli myślisz o ograniczeniach obecnej matematyki, wiesz, mogą one wciągnąć kilkadziesiąt zmiennych. I, uh, gdybym próbował opisać ci Jennifer, uh, za pomocą dwóch tuzinów zmiennych, wiesz, prawdopodobnie mógłbym dojść do całkiem dobrego opisu, ale wyobraź sobie, że mógłbym pobrać więcej danych i opisałem cię za pomocą 300 to tysiąc zmiennych, które sygnalizują i rozstrzygają, dają o wiele dokładniejsze przewidywanie Twojej zdolności kredytowej jako pożyczkobiorcy.

Jennifer: Mike de Vere jest dyrektorem generalnym Zest AI. Jest to jedna z kilku firm, które chcą zwiększyć przejrzystość procesu zatwierdzania kredytów i pożyczek… za pomocą oprogramowania zaprojektowanego w celu uwzględnienia niektórych bieżących problemów z oceną kredytową… w tym rasowych, płciowych i innych potencjalnych uprzedzeń.

Aby zrozumieć, jak to działa… najpierw potrzebujemy trochę kontekstu. W Stanach Zjednoczonych pożyczkodawcy (inni niż pożyczkodawcy hipoteczni) nie mogą zbierać danych na temat rasy. Pierwotnie miało to na celu: zapobiec dyskryminacja.

Ale rasa danej osoby ma silną korelację z jej imieniem… gdzie mieszka… gdzie chodziła do szkoły… i ile zarabia. Oznacza to… nawet bez danych wyścigowych… algorytm uczenia maszynowego może i tak nauczyć się rozróżniać… po prostu dlatego, że jest zapieczony.

Tak więc pożyczkodawcy starają się to sprawdzić i wyeliminować dyskryminację w swoich modelach kredytowych. Jedyny problem? Aby zweryfikować, jak sobie radzisz, musisz znać rasę pożyczkobiorców… bez tego… pożyczkodawcy są zmuszeni do zgadywania.

Od Vere: Tak więc akceptowanym podejściem jest akronim BISG i zasadniczo używa dwóch zmiennych, twojego kodu pocztowego i twojego nazwiska. I tak nazywam się Mike De Vere i część Kalifornii, z której pochodzę, z takim imieniem wyszedłbym jako Latynos lub Łaciński X, ale mimo to jestem Irlandczykiem.

Jennifer: Innymi słowy… branżowy standard, jak to zrobić, jest często całkowicie błędny. Więc jego firma przyjmuje inne podejście.

Od Vere: Wierzymy, że może istnieć wersja 2.0 — wykorzystująca uczenie maszynowe.

Jennifer: Zamiast przewidywać rasę tylko na podstawie dwóch zmiennych... używa o wiele więcej... takich jak imię i drugie imię danej osoby... i inne dane geograficzne - takie jak spis ludności... lub okręg szkolny.

Mówi, że w niedawnym teście na Florydzie metoda ta przewyższała model standardowy o 60 procent.

Od Vere: Dlaczego to ma znaczenie? To ma znaczenie, ponieważ to twój podwórkowy kij do tego, jak sobie radzisz.

Jennifer: Następnie przyjmuje podejście zwane adversarial de biasing.

Podstawową ideą jest ten . Firma zaczyna od jednego modelu uczenia maszynowego, który jest wyszkolony w celu przewidywania, jak ryzykowny jest dany pożyczkobiorca.

Od Vere: Załóżmy, że ma od 300 do 500 punktów danych do przypisania ryzyka danej osobie.

Jennifer: Następnie ma druga model uczenia maszynowego, który próbuje odgadnąć rasę tego pożyczkobiorcy… (na podstawie ustaleń pierwszego).

Jeśli prognozy drugiego modelu pasują do danych wyjściowych predyktora wyścigu… mówi, że oznacza to, że system koduje odchylenie… i należy je skorygować… dostosowując, ile waży każdy z punktów danych.

Od Vere: Tak więc te od 300 do 500 sygnałów możemy dostroić lub obniżyć, jeśli stanie się to zastępcą wyścigu. W rezultacie otrzymujesz nie tylko wydajny model, który zapewnia dobrą ekonomię, ale jednocześnie masz model, który w tym procesie jest prawie daltonistą.

Jennifer: Mówi, że doprowadziło to do bardziej integracyjnych praktyk pożyczkowych.

Od Vere: Współpracujemy z jedną z największych unii kredytowych w Stanach Zjednoczonych poza Florydą. A więc dla naszej unii kredytowej oznacza to więcej tak dla większej liczby jej członków. Ale to, czym byli naprawdę podekscytowani, to wzrost aprobaty kobiet o 26%. Dwadzieścia pięć procent wzrostu akceptacji dla kolorowych członków.

Jennifer: Chociaż jest to zachęcające… Każdy, kto twierdzi, że ma naprawę na dziesięciolecia szkód spowodowanych algorytmicznym podejmowaniem decyzji… będzie musiał wiele przezwyciężyć, aby zdobyć zaufanie ludzi.

To zadanie staje się jeszcze trudniejsze, gdy proponowana naprawa złego algorytmu... to inny algorytm.

Departament Skarbu wydał niedawno wytyczne – podkreślając wykorzystanie gwarantowania kredytów przez sztuczną inteligencję jako kluczowe ryzyko dla bankowości… ostrzeżenie o kosztach, które wiążą się z ich nieprzejrzystym charakterem… i dodając notatkę, że, cytuję, kierownictwo banku?… powinno być w stanie wyjaśnić i bronić decyzji dotyczących underwritingu i modelowania.

Co… nawet przy najbardziej przejrzystych narzędziach… nadal wydaje się trudne.

A bez nowoczesnych regulacji nie jest również jasne, kto monitoruje te monitory oceny kredytowej… i kto decyduje, czy takie rzeczy jak dane telefoniczne lub informacje z mediów społecznościowych są fair play?

Zwłaszcza, gdy wyniki końcowe nadal są wykorzystywane do celów niekredytowych… takich jak zatrudnienie lub ubezpieczenie.

[KREDYTY]

Ten odcinek został wyprodukowany przeze mnie, Karen Hao, Emmę Cillekens i Anthony'ego Greena. Redaguje nas Michael Reilly.

Dzięki za wysłuchanie, jestem Jennifer Strong.

[ID PRZEGLĄDU TECHNICZNEGO]

ukryć