Istnieje prosty sposób na sprawienie, by udzielanie pożyczek kobietom było bardziej sprawiedliwe. Problem w tym, że to nielegalne.

Punktacja kredytowa nałożona na symbole męskie i żeńskie.

Punktacja kredytowa nałożona na symbole męskie i żeńskie. Selman projekt





Na początku tego tygodnia nowojorski Departament Usług Finansowych wszczął dochodzenie w sprawie Goldman Sachs w sprawie potencjalnej dyskryminacji kredytowej ze względu na płeć. Sondaż pojawił się po tym, jak przedsiębiorca internetowy David Heinemeier Hansson napisał na Twitterze, że karta Apple, którą zarządza Goldman, dała mu 20-krotny limit kredytowy, który został rozszerzony na jego żonę, chociaż obaj złożyli wspólne zeznania podatkowe, a ona miała lepszą zdolność kredytową.

W odpowiedzi Goldman opublikował oświadczenie, w którym stwierdził, że nie bierze pod uwagę płci przy określaniu zdolności kredytowej. Logika prawdopodobnie miała być obroną – jak możesz dyskryminować kobiety, jeśli nawet nie wiesz, że ktoś jest kobietą? Ale w rzeczywistości nieuwzględnienie płci jest właśnie problemem. Badania nad sprawiedliwością algorytmiczną wykazały wcześniej, że uwzględnienie płci rzeczywiście pomaga łagodzić uprzedzenie wobec płci. Jak na ironię, robienie tego w USA jest nielegalne.



Obecnie wstępne wyniki trwającego badania finansowanego przez Fundację ONZ i Bank Światowy po raz kolejny kwestionują sprawiedliwość udzielania kredytów zorientowanych na płeć. Badanie wykazało, że stworzenie całkowicie odrębnych modeli zdolności kredytowej dla kobiet i mężczyzn zapewniło większości kobiet więcej kredytu.

A więc: czy należy zaktualizować prawo?

Seksizm bycia ślepą na płeć

Jeśli nie chcesz dyskryminować ze względu na płeć, dlaczego po prostu nie usunąć płci z równania? To było założenie Ustawa o równych szansach kredytowych (ECOA), uchwalony w USA w 1974 roku, w czasie, gdy kobietom regularnie odmawiano kredytu. Zabronił każdemu wierzycielowi dyskryminowania ze względu na płeć lub brania pod uwagę płci podczas oceny zdolności kredytowej. (W 1976 roku został zaktualizowany, aby zabronić dyskryminacji ze względu na rasę, pochodzenie narodowe i inne cechy chronione przez rząd federalny).



Ale w uczeniu maszynowym problemem może być ślepota płciowa. Nawet jeśli płeć nie jest określona, ​​można ją łatwo wywnioskować z innych zmiennych, które są z nią silnie skorelowane. W rezultacie modele wytrenowane na danych historycznych pozbawionych płci nadal wzmacniają przeszłe nierówności . To samo dotyczy rasy i innych cech. Prawdopodobnie tak właśnie stało się w przypadku karty Apple Card: ponieważ kobietom w przeszłości przyznawano mniejszy kredyt, algorytm nauczył się utrwalać ten wzór.

w badanie 2018 , współpraca między informatykami i ekonomistami wykazała, że ​​najlepszym sposobem na złagodzenie tych problemów jest w rzeczywistości ponowne wprowadzenie do modelu cech, takich jak płeć i rasa. Takie postępowanie pozwala na większą kontrolę nad mierzeniem i odwracaniem wszelkich wyrażonych uprzedzeń, co skutkuje większą ogólną uczciwością.

Pożyczki kredytowe zróżnicowane pod względem płci

Najnowsze badanie testuje nową hipotezę: czy oddzielne modele dla mężczyzn i kobiet jeszcze bardziej zmniejszą uprzedzenia związane z płcią? Podczas wydarzenia zorganizowanego przez Fundację ONZ we wtorek Sean Higgins, adiunkt na Northwestern University i badacz zajmujący się badaniem, przedstawił wstępne wyniki, które sugerują, że tak się stanie.



We współpracy z bankiem komercyjnym na Dominikanie naukowcy przeprowadzili dwie oddzielne analizy 20 000 osób o niskich dochodach, z czego połowa to kobiety. W pierwszej analizie naukowcy wykorzystali historie spłat kredytów i płeć poszczególnych osób, aby wyszkolić jeden model uczenia maszynowego do przewidywania zdolności kredytowej. W drugiej analizie badacze wytrenowali model zawierający wyłącznie dane dotyczące spłaty kredytu od kobiet. Okazało się, że 93% kobiet uzyskało więcej punktów w tym modelu niż w modelu, w którym kobiety i mężczyźni byli razem.

Dzieje się tak, mówi Higgins, ponieważ kobiety i mężczyźni mają różne historie kredytowe i różne zachowania w spłacie kredytów – czy to z powodów historycznych, kulturowych, czy innych. Mówi, że na przykład kobiety częściej spłacają swoje pożyczki. Ale te różnice nie są uwzględniane w połączonym modelu, który uczy się przewidywać zdolność kredytową na podstawie średnich dla kobiet i mężczyzn. W związku z tym takie modele niedostatecznie przewidują prawdopodobieństwo spłaty kredytów przez kobiety i ostatecznie przyznają im mniej kredytu, niż na to zasługują.

Chociaż Higgins i jego współpracownicy testowali tę hipotezę specjalnie dla kobiet o niskich dochodach w Republice Dominikany, wyniki jakościowe powinny być prawdziwe niezależnie od kontekstu. Powinny również dotyczyć cech innych niż płeć oraz w dziedzinach innych niż finanse.



Co zrobić z prawem

Problem w tym, że tego rodzaju model jednopłciowy jest nielegalny. Pytanie brzmi, czy decydenci powinni zatem aktualizować ECOA.

Higgins jest za. Ostatnie badania nad sprawiedliwością algorytmiczną doprowadziły do ​​dość jasnego wniosku, że powinniśmy używać w algorytmach takich rzeczy, jak rasa i płeć, mówi. Jeśli banki nie mają dostępu do tych zmiennych i nie mogą nawet przeprowadzić kontroli bezpieczeństwa, aby upewnić się, że ich algorytmy nie są stronnicze, jedynym sposobem, w jaki możemy dowiedzieć się o tych uprzedzeniach, jest tweetowanie przez ludzi o rozbieżnościach, które spotykasz na wolności.

Ale Andrew Selbst, asystent profesora prawa na UCLA, który specjalizuje się w skrzyżowaniu sztucznej inteligencji i prawa, ostrzega przed zbyt szybkim działaniem. Przepisanie prawa w ten sposób otwiera drogę dla złych aktorów, którzy zaczynają uwzględniać zmienne rasy i zmienne płci oraz szalejąc dyskryminować w sposób, który jest bardzo trudny do nadzorowania, mówi. Martwi się również, że to rozwiązanie nie uwzględniłoby osób niebinarnych lub trans i nieumyślnie wyrządziłoby im krzywdę.

Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.

ukryć