Sztuczna inteligencja zaostrzyła rasowe uprzedzenia w mieszkalnictwie. Czy może zamiast tego pomóc w wyeliminowaniu go?

Dyskusja o tym, czy maszyny mogą być kiedykolwiek sprawiedliwsze od ludzi. Za pomocą

• Charlton McIlwain strona archiwum

20 października 2020 r.

Andrea Daquino

Nadchodzący numer naszego magazynu poświęcony jest długofalowym problemom. Niewiele problemów jest długoterminowych lub trudniejszych do rozwiązania niż systemowa nierówność rasowa w Ameryce. A szczególnie zakorzenioną formą tego zjawiska jest dyskryminacja mieszkaniowa.

Długa historia polis prowadzonych przez banki, towarzystwa ubezpieczeniowe i pośredników w obrocie nieruchomościami odmówiła ludziom kolorowym uczciwego strzału w posiadanie domów, skoncentrowała bogactwo i własność w rękach białych ludzi i społeczności oraz utrwaliła de facto segregację. Chociaż te zasady – z nazwami takimi jak redlining, blockbusting, podział na strefy rasowe, restrykcyjne przymierza i rasowe sterowanie – nie są już legalne, ich konsekwencje utrzymują się i czasami są nadal praktykowane potajemnie lub nieumyślnie.

Ta historia była częścią naszego wydania z listopada 2020 r.

• Zobacz resztę numeru
• Subskrybuj

Technologia w niektórych przypadkach zaostrzyła systemowe uprzedzenia rasowe w Ameryce. Wykazano, na przykład, że oparte na algorytmach rozpoznawanie twarzy, działania policyjne oparte na przewidywaniu, wyroki skazujące i decyzje o zwolnieniu za kaucją konsekwentnie przynoszą czarną osobę gorszym wynikom. Również w przypadku mieszkalnictwa, ostatnie badania przeprowadzone na Uniwersytecie Kalifornijskim w Berkeley wykazały, że oparty na sztucznej inteligencji system pożyczek hipotecznych obciążał czarnoskórych i latynoskich pożyczkobiorców wyższe stawki niż białych za te same pożyczki.

Czy zamiast tego można wykorzystać technologię do złagodzenia uprzedzeń w mieszkalnictwie? Zebraliśmy kilku ekspertów, aby omówić możliwości. Oni są:

Lisa Ryż

Prezes i dyrektor generalny National Fair Housing Alliance, największego konsorcjum organizacji oddanych walce z dyskryminacją mieszkaniową.

Bobby Bartlett

Profesor prawa na Uniwersytecie Kalifornijskim w Berkeley, który kierował badaniami dostarczającymi jedne z pierwszych dowodów na dużą skalę na to, jak sztuczna inteligencja powoduje dyskryminację w udzielaniu kredytów hipotecznych.

Charlton McIlwain

Profesor mediów, kultury i komunikacji na NYU i autor Black Software: Internet i sprawiedliwość rasowa, od Afronetu do Black Lives Matter .

---

Ta dyskusja została zredagowana i skrócona dla jasności.

McIlwaina: Kiedy zeznawałem przed Kongresem w grudniu zeszłego roku na temat wpływu automatyzacji i sztucznej inteligencji na branżę usług finansowych, cytowałem niedawne badanie, które wykazało, że w przeciwieństwie do ludzkich urzędników ds. kredytów, zautomatyzowane systemy kredytów hipotecznych dość dobrze zaaprobowały kredyty mieszkaniowe, bez dyskryminacji ze względu na rasę. Jednak zautomatyzowane systemy nadal obciążają czarnoskórych i latynoskich pożyczkobiorców znacznie wyższymi cenami za te pożyczki.

To sprawia, że ​​jestem sceptyczny, czy sztuczna inteligencja może lub zrobi coś lepszego niż ludzie. Bobby – to była twoja pracownia. Czy wyciągnęłaś te same wnioski?

Bartletta: Mieliśmy dostęp do zbioru danych, który pozwolił nam zidentyfikować pożyczkodawcę historycznego i czy pożyczkodawca używał całkowicie zautomatyzowanego systemu, bez żadnej interwencji człowieka – przynajmniej pod względem zatwierdzenia i ubezpieczenia. Mieliśmy informacje o rasie i pochodzeniu etnicznym kredytobiorcy i byliśmy w stanie określić, czy ceny zatwierdzonych kredytów różniły się w zależności od rasy. W rzeczywistości, około 800 milionów dolarów rocznie.

Dlaczego jest tak, że te algorytmy, które są ślepe na rasę lub pochodzenie etniczne pożyczkobiorcy, dyskryminują w ten sposób? Nasza hipoteza robocza jest taka, że ​​algorytmy często po prostu próbują zmaksymalizować cenę. Przypuszczalnie ktokolwiek projektuje algorytm, nie zdaje sobie sprawy z rasistowskich konsekwencji tego jednomyślnego skupienia się na rentowności. Ale muszą zrozumieć, że istnieje ta rasowa dynamika, że ​​zmienne zastępcze, których używają – najprawdopodobniej na tym polega dyskryminacja. W pewnym sensie, w kodzie faktycznie pojawia się czerwona linia. Przypomina to ogólnie to, co dzieje się na rynku kredytów hipotecznych. Wiemy, że brokerzy podadzą wyższe ceny pożyczkobiorcom mniejszościowym, wiedząc, że niektórzy je odrzucą, ale inni będą bardziej skłonni je zaakceptować z wielu powodów.

McIlwaina: Mam teorię, że jednym z powodów, dla których otrzymujemy systemy stronnicze – nawet jeśli zostały zbudowane tak, aby były mniej dyskryminujące – jest to, że ludzie, którzy je projektują, tak naprawdę nie rozumieją podstawowej złożoności problemu. Wydaje mi się, że jest pewna naiwność w myśleniu, że system byłby wolny od uprzedzeń tylko dlatego, że jest ślepy na rasę.

Ryż: Wiesz, Charlton, mieliśmy tę samą perspektywę, co ty w latach 90. i na początku 2000 roku. Zabroniliśmy instytucjom finansowym używania scoringu ubezpieczeniowego, wyceny opartej na ryzyku lub systemu scoringu kredytowego tylko w tym celu. Zdaliśmy sobie sprawę, że same systemy wykazują stronniczość. Ale potem zaczęliśmy mówić, że możesz ich używać tylko wtedy, gdy pomagają ludziom, zwiększają dostęp lub generują uczciwsze ceny.

McIlwaina: Czy ludzie projektujący te systemy popełniają błąd, ponieważ tak naprawdę nie rozumieją podstawowego problemu związanego z dyskryminacją mieszkaniową? A czy Twoje źródło optymizmu pochodzi z faktu, że Ty i organizacje takie jak Twoja rozumiecie tę złożoność?

Ryż: Jesteśmy organizacją praw obywatelskich. Tym właśnie jesteśmy. Całą naszą pracę wykonujemy przez pryzmat równości rasowej. Jesteśmy organizacją antyrasistowską.

W trakcie rozwiązywania spraw związanych z redliningiem i reverse redliningiem zachęcaliśmy instytucje finansowe i agencje ubezpieczeniowe do ponownego przemyślenia swoich modeli biznesowych, do przemyślenia sposobu marketingu, do przemyślenia wytycznych dotyczących underwritingu, do przemyślenia produktów, które rozwijają. I myślę, że udało nam się to zrobić, ponieważ jesteśmy agencją praw obywatelskich.

Powiązana historia

Oczywiście technologia utrwala rasizm. Został tak zaprojektowany. Czarni Amerykanie wielokrotnie widzieli technologię wykorzystywaną do ich atakowania. Zatrzymanie tego oznacza inne spojrzenie na problem.

Zaczynamy od pomocy korporacjom w zrozumieniu historii mieszkalnictwa i finansów w Stanach Zjednoczonych oraz tego, jak wszystkie nasze polityki mieszkaniowe i finansowe były egzekwowane przez pryzmat rasy. Nie możesz zacząć od punktu zerowego, jeśli chodzi o rozwój systemu i myśleć, że system będzie sprawiedliwy. Musisz ją rozwijać w sposób wykorzystujący technologie i metodologie antyrasistowskie.

McIlwaina: Czy nadal możemy realnie zrobić wgniecenie w tym problemie, korzystając z narzędzi technologicznych, którymi dysponujemy? Jeśli tak, od czego zaczynamy?

Ryż: Tak – kiedy kryzys finansowy z 2008 roku trochę minął i spojrzeliśmy w górę, to było tak, jakby technologia nas wyprzedziła. I tak postanowiliśmy, może jeśli nie damy rady, może dołączymy. Spędziliśmy więc dużo czasu próbując dowiedzieć się, jak działają systemy oparte na algorytmach, jak działa sztuczna inteligencja, i faktycznie doszliśmy do punktu, w którym myślimy, że możemy teraz wykorzystać technologię, aby pomóc zmniejszyć dyskryminujące wyniki.

Jeśli zrozumiemy, w jaki sposób te systemy manifestują stronniczość, możemy, miejmy nadzieję, dostać się do wnętrzności, a następnie osłabić te systemy i zbudować nowe systemy, które zaszczepią w nich techniki obniżania uprzedzeń.

Naprawdę nie mamy agencji regulacyjnych, które rozumiełyby, jak przeprowadzić egzamin instytucji pożyczkowej, aby wykryć, czy jej system jest stronniczy.

Ale kiedy myślisz o tym, jak daleko jesteśmy za krzywą, naprawdę zniechęcające jest myślenie o całej pracy, którą należy wykonać, o wszystkich badaniach, które należy wykonać. Potrzebujemy więcej Bobbysów świata. Ale także całą edukację, którą należy przeprowadzić, aby naukowcy danych zrozumieli te problemy.

Ryż: Staramy się skłonić organy regulacyjne do zrozumienia, w jaki sposób systemy manifestują stronniczość. Wiesz, naprawdę nie mamy ciała egzaminatorów w agencjach regulacyjnych, którzy rozumieliby, jak przeprowadzić egzamin instytucji pożyczkowej, aby wykryć, czy jej system – automatyczny system oceny ryzyka, jej system marketingowy, jej system obsługi – jest czy nie jest stronniczy. Ale same instytucje opracowują własne polityki organizacyjne, które mogą pomóc.

Inną rzeczą, którą musimy zrobić, jest naprawdę zwiększenie różnorodności w przestrzeni technologicznej. Musimy zachęcić więcej uczniów z różnych środowisk do dziedzin STEM i do przestrzeni technologicznej, aby pomóc wprowadzić zmiany. Przychodzi mi do głowy kilka przykładów, w których samo posiadanie w zespole osoby kolorowej spowodowało głęboką różnicę pod względem zwiększenia uczciwości opracowywanej technologii.

McIlwaina: Jaką rolę odgrywa polityka? Odnoszę wrażenie, że w taki sam sposób, w jaki organizacje praw obywatelskich były w tyle za branżą, jeśli chodzi o zrozumienie, jak działają systemy algorytmiczne, wielu naszych decydentów pozostaje w tyle. Nie wiem, ile wiary pokładałbym w ich zdolność do realistycznego sprawdzania systemu lub szybkiego wejścia nowych systemów AI na arenę kredytów hipotecznych.

McIlwaina: Pozostaję sceptyczny. Na razie dla mnie skala problemu wciąż znacznie przekracza zarówno naszą zbiorową ludzką wolę, jak i możliwości naszej technologii. Bobby, czy myślisz, że technologia może kiedykolwiek pomóc?
ten problem?

Bartletta: Muszę odpowiedzieć na to z prawnikiem To zależy. Widzimy, przynajmniej w kontekście udzielania pożyczek, to, że możesz wyeliminować źródło uprzedzeń i dyskryminacji, które zaobserwowałeś podczas interakcji twarzą w twarz, poprzez pewnego rodzaju algorytmiczne podejmowanie decyzji. Z drugiej strony, jeśli niewłaściwie wdrożony, możesz skończyć z aparatem decyzyjnym, który jest tak zły, jak reżim redliningowy. Tak naprawdę zależy to od wykonania, rodzaju technologii i staranności, z jaką jest wdrażana. Ale sprawiedliwy system kredytowy, który jest operacjonalizowany poprzez zautomatyzowane podejmowanie decyzji? Myślę, że to naprawdę trudna propozycja. I myślę, że ta ława przysięgłych wciąż nie istnieje.

ukryć