211service.com
Audytorzy testują algorytmy zatrudniania pod kątem stronniczości, ale nie ma łatwego rozwiązania
Audyty AI mogą pomijać pewne rodzaje uprzedzeń i niekoniecznie weryfikują, czy narzędzie rekrutacyjne wybiera najlepszych kandydatów do pracy.
Szymon Simard
11 lutego 2021Jestem w domu i gram w grę wideo na swoim komputerze. Moim zadaniem jest napompowanie jednego balonu na raz i zarobienie jak największej ilości pieniędzy. Za każdym razem, gdy klikam Pump, balon się rozszerza i otrzymuję pięć wirtualnych centów. Ale jeśli balon wyskoczy, zanim nacisnę Odbierz, wszystkie moje cyfrowe zarobki znikną.
Po napełnieniu 39 balonów zarobiłem 14,40 $. Na ekranie pojawia się komunikat: Trzymasz się konsekwentnego podejścia w sytuacjach wysokiego ryzyka. Mierzona cecha: ryzyko.
Ta gra jest jedną z serii stworzonych przez firmę o nazwie Pymetrics, którą wiele dużych amerykańskich firm zatrudnia do sprawdzania kandydatów do pracy. Jeśli aplikujesz do McDonald’s, Boston Consulting Group, Kraft Heinz lub Colgate-Palmolive, możesz zostać poproszony o zagranie w gry Pymetrics.
Kiedy gram, system sztucznej inteligencji mierzy takie cechy, jak hojność, uczciwość i uwaga. Gdybym faktycznie ubiegał się o stanowisko, system porównywałby moje wyniki z wynikami pracowników już pracujących na tym stanowisku. Gdyby mój profil osobowości odzwierciedlał cechy najbardziej charakterystyczne dla osób, które odnoszą sukcesy w tej roli, przeszłabym do następnego etapu rekrutacji.
Coraz więcej firm korzysta z narzędzi rekrutacyjnych opartych na sztucznej inteligencji, takich jak te, aby zarządzać zalewem otrzymywanych aplikacji — zwłaszcza teraz, gdy w Stanach Zjednoczonych jest mniej więcej dwa razy więcej bezrobotnych niż przed pandemią. Ankieta spośród ponad 7300 menedżerów ds. zasobów ludzkich na całym świecie firmy Mercer, zajmującej się zarządzaniem aktywami, stwierdziło, że odsetek osób, które twierdziły, że ich dział korzysta z analiz predykcyjnych, wzrósł z 10% w 2016 r. do 39% w 2020 r.
Zdjęcia z podstawowego produktu Pymetrics, zestawu 12 gier opartych na sztucznej inteligencji, które według firmy mogą rozpoznać społeczne, poznawcze i emocjonalne atrybuty osoby ubiegającej się o pracę.
PyMETRIA
Podobnie jak w przypadku innych aplikacji AI, naukowcy odkryli, że niektóre narzędzia rekrutacyjne produkują stronnicze wyniki — na przykład nieumyślne faworyzowanie mężczyzn lub osób z pewnych środowisk społeczno-ekonomicznych. Wielu opowiada się teraz za większą przejrzystością i większą regulacją. W szczególności ciągle proponowane jest jedno rozwiązanie: audyty AI.
W zeszłym roku firma Pymetrics zapłaciła zespołowi informatyków z Northeastern University za przeprowadzenie audytu algorytmu zatrudniania. Był to jeden z pierwszych przypadków, gdy taka firma zażądała zewnętrznego audytu własnego narzędzia. Dyrektor generalna Frida Polli powiedziała mi, że uważa, że to doświadczenie może być wzorem zgodności z proponowanym prawem wymagającym takich audytów dla firm w Nowym Jorku, gdzie Pymetrics ma swoją siedzibę.
Pymetrics sprzedaje swoje oprogramowanie jako całkowicie wolne od uprzedzeń.
Pauline Kim, profesor prawa na Washington University w St. Louis, która ma doświadczenie w prawie pracy i sztucznym inteligencja. Jeśli mogą popchnąć branżę, aby była bardziej przejrzysta, to naprawdę pozytywny krok naprzód.
Mimo całej uwagi, jaką zwróciły audyty sztucznej inteligencji, ich zdolność do faktycznego wykrywania i ochrony przed uprzedzeniami pozostaje nieudowodniona. Termin audyt AI może oznaczać wiele różnych rzeczy, przez co trudno jest ogólnie ufać wynikom audytów. Zakres najbardziej rygorystycznych audytów może być nadal ograniczony. I nawet przy nieskrępowanym dostępie do wnętrzności algorytmu może być zaskakująco trudno powiedzieć z pewnością, czy traktuje kandydatów uczciwie. W najlepszym przypadku audyty dają niepełny obraz, a w najgorszym mogą pomóc firmom ukryć problematyczne lub kontrowersyjne praktyki za pieczęcią aprobaty audytora.
Wewnątrz audytu AI
Wiele rodzajów narzędzi do zatrudniania AI jest już w użyciu. Obejmują one oprogramowanie, które analizuje mimikę, ton i język kandydata podczas rozmów wideo, a także programy skanujące życiorysy, przewidujące osobowość lub badające aktywność kandydata w mediach społecznościowych.
Niezależnie od tego, jakie narzędzie sprzedają, dostawcy zatrudniający sztuczną inteligencję zazwyczaj obiecują, że technologie te znajdą lepiej wykwalifikowanych i bardziej zróżnicowanych kandydatów przy niższych kosztach i w krótszym czasie niż tradycyjne działy HR. Jednak jest bardzo mało dowodów na to, że to robią, a w każdym razie nie tego testował audyt AI algorytmu Pymetrics. Zamiast tego miał na celu ustalenie, czy dane narzędzie rekrutacyjne rażąco dyskryminuje kandydatów ze względu na rasę lub płeć.
Christo Wilson z Northeastern analizował już wcześniej algorytmy, w tym te, które: napędzać wzrost cen Ubera i wyszukiwarkę Google . Ale dopóki Pymetrics nie zadzwonił, nigdy nie pracował bezpośrednio z firmą, którą badał.
Zespół Wilsona, w skład którego wchodził jego kolega Alan Mislove i dwóch absolwentów, polegał na danych z Pymetrics i miał dostęp do analityków danych firmy. Audytorzy byli niezależni od redakcji, ale zgodzili się powiadomić Pymetrics o wszelkich negatywnych wynikach przed publikacją. Firma zapłaciła Northeastern 104 465 USD za pośrednictwem Dotacja , w tym 64 813 dolarów przeznaczone na pensje Wilsona i jego zespołu.
Powiązana historia
Deepfake porno rujnuje życie kobiet. Teraz prawo może w końcu tego zakazać.Po latach aktywistów walczących o ochronę ofiar przemocy seksualnej opartej na obrazach, deepfake w końcu zmuszają prawodawców do zwrócenia uwagi.
Podstawowym produktem Pymetrics jest zestaw 12 gier, które, jak twierdzi, są w większości oparte na eksperymenty kognitywistyczne . Gry nie mają być wygrane lub przegrane; mają na celu rozpoznanie cech poznawczych, społecznych i emocjonalnych kandydata, w tym tolerancji ryzyka i zdolności uczenia się. Pymetrics sprzedaje swoje oprogramowanie jako całkowicie wolne od uprzedzeń . Pymetrics i Wilson zdecydowali, że audytorzy skupią się na jednym konkretnym pytaniu: czy modele firmy są uczciwe?
Oparli definicję uczciwości na tym, co potocznie nazywa się zasadą czterech piątych, która stała się nieformalnym standardem zatrudniania w Stanach Zjednoczonych. Komisja ds. Równych Szans Zatrudnienia (EEOC) wydana wytyczne w 1978 r. stwierdzając, że procedury rekrutacyjne powinny wybierać mniej więcej taką samą proporcję mężczyzn i kobiet oraz osób z różnych grup rasowych. Zgodnie z zasadą czterech piątych, Kim wyjaśnia, że jeśli mężczyźni przechodzą przez 100% czasu do następnego etapu w procesie rekrutacji, kobiety muszą przejść co najmniej 80% czasu.
Jeśli narzędzia rekrutacyjne firmy naruszają zasadę czterech piątych, EEOC może przyjrzeć się bliżej jej praktykom. Dla pracodawcy to nie jest zły czek, mówi Kim. Jeśli pracodawcy upewnią się, że te narzędzia nie są rażąco dyskryminujące, najprawdopodobniej nie zwrócą one uwagi federalnych organów regulacyjnych.
Aby dowiedzieć się, czy oprogramowanie Pymetrics wyczyściło ten pasek, zespół Northeastern musiał najpierw spróbować zrozumieć, jak działa narzędzie.
Kiedy nowy klient rejestruje się w Pymetrics, musi wybrać co najmniej 50 pracowników, którzy odnieśli sukces w roli, którą chce obsadzić. Pracownicy ci grają w gry Pymetrics, aby generować dane treningowe. Następnie system Pymetrics porównuje dane tych 50 pracowników z danymi z gier od ponad 10 000 osób losowo wybranych spośród ponad dwóch milionów. Następnie system buduje model, który identyfikuje i klasyfikuje umiejętności najbardziej charakterystyczne dla odnoszących sukcesy pracowników klienta.
Aby sprawdzić stronniczość, Pymetrics zestawia ten model z innym zestawem danych około 12 000 osób (wybranych losowo spośród ponad 500 000), którzy nie tylko grali w gry, ale także ujawnili swoje dane demograficzne w ankiecie. Chodzi o to, aby ustalić, czy model zdałby test czterech piątych, gdyby ocenił tych 12 000 osób.
Jeśli system wykryje jakiekolwiek stronniczość, buduje i testuje więcej modeli, aż znajdzie taki, który zarówno przewiduje sukces, jak i daje mniej więcej takie same wskaźniki zdawalności dla mężczyzn i kobiet oraz dla członków wszystkich grup rasowych. Teoretycznie, nawet jeśli większość odnoszących sukcesy pracowników klienta to biali mężczyźni, Pymetrics może skorygować stronniczość, porównując dane z gier od tych mężczyzn z danymi od kobiet i osób z innych grup rasowych. To, czego szuka, to punkty danych przewidujące cechy, które nie korelują z rasą lub płcią, ale odróżniają odnoszących sukcesy pracowników.
Christo Wilson z Northeastern University
SZYMON SIMARDWilson i jego zespół audytorów chcieli dowiedzieć się, czy mechanizm przeciwdziałania stronniczości Pymetrics faktycznie zapobiega stronniczości i czy można go oszukać. Aby to zrobić, w zasadzie próbowali oszukać system, na przykład wielokrotnie powielając dane gry od tego samego białego człowieka i próbując wykorzystać je do zbudowania modelu. Wynik był zawsze taki sam: sposób, w jaki ich kod jest poniekąd ułożony i sposób, w jaki naukowcy danych używają narzędzia, nie było oczywistego sposobu, aby ich zasadniczo oszukać, aby wyprodukowali coś, co było stronnicze i aby to zostało oczyszczone, mówi Wilson.
Jesienią ubiegłego roku audytorzy podzielili się swoimi odkryciami z firmą: system Pymetrics spełnia zasadę czterech piątych. Niedawno opublikowano zespół Northeastern badania algorytmu online i przedstawi raport z prac w marcu na konferencji poświęconej odpowiedzialności algorytmicznej FAccT.
Ważnym wnioskiem jest to, że Pymetrics naprawdę wykonuje naprawdę dobrą robotę, mówi Wilson.
Niedoskonałe rozwiązanie
Ale chociaż oprogramowanie Pymetrics spełnia zasadę czterech piątych, audyt nie wykazał, że narzędzie jest wolne od jakichkolwiek uprzedzeń, ani że faktycznie wybiera najbardziej wykwalifikowanych kandydatów do danej pracy.
W rzeczywistości wydawało się, że pytanie, które zadano, brzmiało bardziej „Czy Pymetrics robi to, co mówi, że robi?”, w przeciwieństwie do „Czy robią to, co właściwe, czy właściwe?”, mówi Manish Raghavan, doktorant informatyki na Cornell University, który opublikował wiele publikacji na temat sztucznej inteligencji i zatrudniania.
Skutecznie wydawało się, że zadawane pytanie brzmiało bardziej „Czy Pymetrics robi to, co mówi, że robi?”, w przeciwieństwie do „Czy robią to, co właściwe lub właściwe?”
Na przykład zasada czterech piątych wymaga, aby osoby z różnych płci i grup rasowych przechodziły do następnej rundy procesu rekrutacji w mniej więcej takim samym tempie. Narzędzie do zatrudniania AI może spełnić ten wymóg i nadal być szalenie niespójne w przewidywaniu, jak dobrze ludzie z różnych grup faktycznie odniosą sukces w pracy po zatrudnieniu. A jeśli na przykład narzędzie dokładniej przewiduje sukces mężczyzn niż kobiet, oznaczałoby to, że w rzeczywistości nie identyfikuje najlepiej wykwalifikowanych kobiet, więc zatrudnione kobiety mogą nie odnosić takich sukcesów w pracy, mówi Kim.
Kolejną kwestią, której ani zasada czterech piątych, ani audyt Pymetrics nie zajmuje się, jest intersekcjonalność. Reguła porównuje mężczyzn z kobietami i jedną grupę rasową z inną, aby sprawdzić, czy zdają w takim samym tempie, ale nie porównuje, powiedzmy, białych mężczyzn z Azjatami lub czarnymi kobietami. „Można mieć coś, co spełniłoby zasadę czterech piątych [dla] mężczyzn kontra kobiety, czarnych kontra białych, ale może to ukryć uprzedzenia wobec czarnych kobiet”, mówi Kim.
Pymetrics nie jest jedyną firmą, której audyt AI został poddany audytowi. HireVue, inny duży dostawca oprogramowania do zatrudniania AI, zlecił firmie O’Neil Risk Consulting and Algorithmic Auditing (ORCAA) ocenę jednego ze swoich algorytmów. Właścicielem tej firmy jest Cathy O’Neil, badaczka danych i autorka książki Broń Matematycznego Zniszczenia, jedna z najbardziej popularnych książek na temat stronniczości AI, która od lat opowiada się za audytami AI.
ORCAA i HireVue skoncentrowały swój audyt na jednym produkcie: ocenach zatrudnienia HireVue, których wiele firm używa do oceny absolwentów szkół wyższych. W tym przypadku ORCAA nie oceniła projektu technicznego samego narzędzia. Zamiast tego firma przeprowadziła wywiady z zainteresowanymi stronami (w tym kandydatem do pracy, etykiem AI i kilkoma organizacjami non-profit) na temat potencjalnych problemów z narzędziami i dała HireVue zalecenia dotyczące ich ulepszenia. Raport końcowy jest publikowany na stronie internetowej HireVue, ale można go przeczytać dopiero po podpisaniu umowy o zachowaniu poufności.
Alex Engler, pracownik Brookings Institution, który studiował narzędzia do zatrudniania AI i jest zaznajomiony z obydwoma audytami, uważa, że Pymetrics jest lepszy: istnieje duża różnica w głębokości analizy, która została przeprowadzona, mówi. Ale po raz kolejny żaden audyt nie dotyczył tego, czy produkty rzeczywiście pomagają firmom w dokonywaniu lepszych wyborów rekrutacyjnych. Obie były finansowane przez audytowane firmy, co stwarza pewne ryzyko, że audytor będzie miał wpływ na to, że jest to klient, mówi Kim.
Z tych powodów krytycy twierdzą, że dobrowolne audyty nie wystarczą. Analitycy danych i eksperci ds. odpowiedzialności naciskają teraz na szersze uregulowanie narzędzi zatrudniania AI, a także standardy ich audytu.
Wypełnianie luk
Niektóre z tych środków zaczynają pojawiać się w Stanach Zjednoczonych. W 2019 roku senatorowie Cory Booker i Ron Wyden oraz reprezentantka Yvette Clarke przedstawili Ustawa o odpowiedzialności algorytmicznej wprowadzenie obowiązku przeprowadzania audytów uprzedzeń dla wszystkich dużych firm korzystających z AI, chociaż ustawa nie została ratyfikowana.
Tymczasem na poziomie stanowym następuje pewien ruch. ten Ustawa o wywiadzie wideo AI w Illinois, który wszedł w życie w styczniu 2020 r., wymaga od firm informowania kandydatów, kiedy używają sztucznej inteligencji podczas rozmów wideo. Miasta też podejmują działania — w Los Angeles zaproponował członek rady miejskiej Joe Buscaino uczciwy wniosek o zatrudnienie dla systemów zautomatyzowanych w listopadzie.
ten Rachunek w Nowym Jorku w szczególności może służyć jako model dla miast i państw w całym kraju. Wprowadzi to obowiązek przeprowadzania corocznych audytów dla dostawców zautomatyzowanych narzędzi do zatrudniania. Wymagałoby to również od firm, które używają tych narzędzi, aby informowały wnioskodawców, jakie cechy ich systemu wykorzystał do podjęcia decyzji.
Otwarte pozostaje jednak pytanie, jak faktycznie będą wyglądały te coroczne audyty. Dla wielu ekspertów audyt zgodny z tym, co zrobił Pymetrics, nie zaszedłby zbyt daleko w ustaleniu, czy te systemy dyskryminują, ponieważ ten audyt nie sprawdzał intersekcjonalności ani nie oceniał zdolności narzędzia do dokładnego pomiaru cech, które twierdzi, że mierzy ludzie różnych ras i płci.
Wielu krytyków chciałoby, aby audyty były przeprowadzane przez rząd, a nie przez prywatne firmy, aby uniknąć konfliktu interesów. Powinna istnieć regulacja zapobiegawcza, aby przed użyciem któregokolwiek z tych systemów Komisja ds. Równych Szans Zatrudnienia musiała go przejrzeć, a następnie wydać licencję, mówi Frank Pasquale, profesor Brooklyn Law School i ekspert w zakresie odpowiedzialności algorytmicznej. Ma na myśli proces wstępnego zatwierdzania algorytmicznych narzędzi rekrutacyjnych, podobny do tego, którego Agencja ds. Żywności i Leków stosuje w przypadku narkotyków.
Do tej pory EEOC nie wydał nawet jasnych wytycznych dotyczących algorytmów zatrudniania, które są już w użyciu. Ale wkrótce wszystko może zacząć się zmieniać. W grudniu, 10 senatorów wysłał pismo do EEOC z zapytaniem, czy ma uprawnienia do rozpoczęcia nadzorowania systemów zatrudniania AI w celu zapobiegania dyskryminacji osób kolorowych, które zostały już nieproporcjonalnie dotknięte utratą pracy podczas pandemii.