Przetestowaliśmy narzędzia wywiadu AI. Oto, co znaleźliśmy.

Po ponad roku pandemii Covid-19 miliony ludzi szuka pracy w Stanach Zjednoczonych. Oparte na sztucznej inteligencji oprogramowanie do rozmów kwalifikacyjnych twierdzi, że pomaga pracodawcom przeszukiwać aplikacje w celu znalezienia najlepszych osób do pracy. Zgłoszono firmy specjalizujące się w tej technologii wzrost w biznesie podczas pandemii.

Ale wraz ze wzrostem zapotrzebowania na te technologie, pytania o ich dokładność i rzetelność . W najnowszym odcinku podcastu MIT Technology Review In Machines We Trust przetestowaliśmy oprogramowanie dwóch firm specjalizujących się w rozmowach kwalifikacyjnych AI, Mój wywiad oraz Ciekawa rzecz . Znaleźliśmy różnice w przewidywaniach i wynikach dopasowania do stanowiska pracy, które budzą obawy co do tego, co dokładnie oceniają te algorytmy.

Zaczynam cię poznawać

MyInterview mierzy cechy brane pod uwagę w teście osobowości Wielkiej Piątki, psychometrycznej ocenie często stosowanej w procesie rekrutacji. Cechy te obejmują otwartość, sumienność, ekstrawersję, ugodowość i stabilność emocjonalną. Curious Thing mierzy również cechy związane z osobowością, ale zamiast Wielkiej Piątki kandydaci są oceniani na podstawie innych wskaźników, takich jak pokora i odporność.

Ten zrzut ekranu pokazuje wynik dopasowania naszego kandydata i analizę osobowości na MyInterview po udzieleniu odpowiedzi na wszystkie pytania podczas rozmowy kwalifikacyjnej w języku niemieckim zamiast angielskim.

HELKE SCHELLMANN

Algorytmy analizują odpowiedzi kandydatów w celu określenia cech osobowości. MyInterview zbiera również wyniki wskazujące, jak bardzo kandydat odpowiada cechom, które menedżerowie zatrudniający uznali za idealne na dane stanowisko.

Aby zakończyć nasze testy, najpierw konfigurujemy oprogramowanie. Przesłaliśmy fałszywą ofertę pracy dla administratora biura/badacza zarówno w MyInterview, jak i Curious Thing. Następnie skonstruowaliśmy naszego idealnego kandydata, wybierając cechy związane z osobowością na żądanie systemu.

W MyInterview wybraliśmy cechy, takie jak dbałość o szczegóły, i uszeregowaliśmy je według poziomu ważności. Wybraliśmy również pytania do rozmowy kwalifikacyjnej, które są wyświetlane na ekranie, podczas gdy kandydat nagrywa odpowiedzi wideo. W Curious Thing wybraliśmy takie cechy, jak pokora, zdolność adaptacji i odporność.

Jedna z nas, Hilke, złożyła podanie o to stanowisko i przeprowadziła rozmowy kwalifikacyjne zarówno w MyInterview, jak i Curious Thing.

Nasz kandydat odbył rozmowę telefoniczną z Ciekawą Rzeczą. Najpierw odbyła regularną rozmowę kwalifikacyjną i otrzymała 8,5 na 9 punktów za znajomość języka angielskiego. W drugiej próbie automatyczny ankieter zadał te same pytania, a ona odpowiedziała na każde z nich, czytając wpis na Wikipedii dotyczący psychometrii w języku niemieckim.

Jednak Ciekawa Rzecz przyznała jej 6 na 9 punktów za znajomość języka angielskiego. Ponownie wypełniła wywiad i otrzymała ten sam wynik.

Zrzut ekranu pokazuje wynik znajomości języka angielskiego naszej kandydatki w oprogramowaniu Curious Thing po tym, jak odpowiedziała na wszystkie pytania w języku niemieckim.

HELKE SCHELLMANN

Nasz kandydat zwrócił się do MyInterview i powtórzył eksperyment. Przeczytała na głos ten sam wpis w Wikipedii po niemiecku. Algorytm nie tylko zwrócił ocenę osobowości, ale także przewidział, że nasza kandydatka będzie pasować w 73% do fałszywej pracy, co plasuje ją w pierwszej połowie wszystkich kandydatów, o których aplikowanie poprosiliśmy.

MyInterview dostarcza menedżerom ds. rekrutacji transkrypcję ich rozmów kwalifikacyjnych. Kiedy sprawdziliśmy transkrypcję naszej kandydatki, odkryliśmy, że system zinterpretował jej niemieckie słowa jako angielskie. Ale transkrypcja nie miała sensu. W pierwszych kilku linijkach, które odpowiadają podanej powyżej odpowiedzi, czytamy:

|_+_|

Niedopasowany

Zamiast oceniać naszą kandydatkę na podstawie jej odpowiedzi, algorytm wyciągnął cechy osobowości z jej głosu, mówi Clayton Donnelly , psycholog przemysłowy i organizacyjny współpracujący z MyInterview.

Ale intonacja nie jest wiarygodnym wskaźnikiem cech osobowości, mówi Fred Oswald , profesor psychologii organizacji przemysłowej w Uniwersytet Ryżowy . Mówi, że naprawdę nie możemy używać intonacji jako danych do zatrudniania. To po prostu nie wydaje się sprawiedliwe, wiarygodne ani uzasadnione.

Używanie pytań otwartych w celu określenia cech osobowości również stanowi poważne wyzwanie, nawet jeśli – a może zwłaszcza gdy – proces ten jest zautomatyzowany. Dlatego wiele testów osobowości, takich jak Wielka Piątka, daje ludziom opcje do wyboru.

Najważniejsze jest to, że trudno jest wytropić osobowość w tym otwartym sensie, mówi Oswald. Sztuczna inteligencja lub algorytmy oraz sposób zadawania pytań mogą być bardziej ustrukturyzowane i ustandaryzowane. Ale nie sądzę, że jesteśmy tam koniecznie pod względem danych, pod względem projektów, które dają nam dane.

Współzałożyciel i dyrektor ds. technologii Curious Thing, Han Xu , odpowiedział na nasze ustalenia w e-mailu, mówiąc: To pierwszy raz, kiedy nasz system jest testowany w języku niemieckim, dlatego jest to niezwykle cenny punkt danych, który możemy zbadać i sprawdzić, czy coś ujawni w naszym systemie.

Paradoks stronniczości

Wyniki rozmów kwalifikacyjnych z wykorzystaniem sztucznej inteligencji często nie są jedynym wskaźnikiem, którego potencjalni pracodawcy używają do oceny kandydata. A te systemy mogą faktycznie zmniejszyć uprzedzenia i znaleźć lepszych kandydatów niż ludzie przeprowadzający wywiady. Jednak wiele z tych narzędzi nie jest niezależnie testowanych, a firmy, które je zbudowały, niechętnie dzielą się szczegółami ich działania, co utrudnia kandydatom lub pracodawcom sprawdzenie, czy algorytmy są dokładne i jaki mają wpływ na zatrudnienie decyzje.

Mark Szary , który pracuje na duńskiej platformie zarządzania nieruchomościami o nazwie Właściwy , zaczął korzystać z wywiadów wideo AI podczas swojej poprzedniej pracy w dziale HR w firmie elektronicznej Airtame . Mówi, że pierwotnie włączył oprogramowanie wyprodukowane przez niemiecką firmę o nazwie Retoryka , na rozmowy kwalifikacyjne, aby pomóc zredukować ludzkie uprzedzenia, które często pojawiają się, gdy menedżerowie ds. rekrutacji przeprowadzają krótką rozmowę z kandydatami.

Chociaż Gray nie opiera decyzji o zatrudnieniu wyłącznie na ocenie Retorio, która również czerpie z cech Wielkiej Piątki, bierze ją pod uwagę jako jeden z wielu punktów danych przy wyborze kandydatów. Nie sądzę, że to srebrna kula do wymyślenia, jak zatrudnić odpowiednią osobę, mówi.

Zwykły proces zatrudniania Graya obejmuje rozmowę weryfikacyjną i rozmowę kwalifikacyjną Retorio, do udziału w której zaprasza większość kandydatów, niezależnie od wrażenia, jakie wywarli na pokazie. Wybrani kandydaci przejdą następnie do testu umiejętności zawodowych, po którym nastąpi rozmowa kwalifikacyjna na żywo z innymi członkami zespołu.

Powiązana historia

Sztuczna inteligencja LinkedIn do dopasowywania stanowisk pracy była stronnicza. Rozwiązanie firmy? Więcej AI.

ZipRecruiter, CareerBuilder, LinkedIn — większość największych na świecie witryn z ofertami pracy wykorzystuje sztuczną inteligencję do dopasowywania osób do ofert pracy. Ale algorytmy nie zawsze grają fair.

Z biegiem czasu produkty takie jak Retorio i sam Retorio — każda firma powinna z niego korzystać, ponieważ daje tak wiele informacji — mówi Gray. Chociaż ogólnie w sferze AI są pewne znaki zapytania i kontrowersje, myślę, że ważniejsze jest to, czy jesteśmy lepszym czy gorszym sędzią charakteru?

Gray przyznaje się do krytyki związanej z narzędziami do przeprowadzania wywiadów ze sztuczną inteligencją. jakiś dochodzenie opublikowany w lutym przez Bavarian Public Broadcasting odkryli, że algorytm Retorio oceniał kandydatów inaczej, gdy podczas rozmowy kwalifikacyjnej używali różnych teł wideo i akcesoriów, takich jak okulary.

współzałożyciel i dyrektor zarządzający Retorio, Christopher Hohenberger , mówi, że chociaż nie zna specyfiki metod testowania dziennikarzy, firma nie zamierza, aby jej oprogramowanie było decydującym czynnikiem przy zatrudnianiu kandydatów. Jesteśmy narzędziem asystującym, które jest wykorzystywane w praktyce również razem z ludźmi po drugiej stronie. Mówi, że to nie jest filtr automatyczny.

Mimo to stawka jest tak wysoka dla osób poszukujących pracy, które próbują poruszać się po tych narzędziach, że z pewnością należy zachować większą ostrożność. W końcu dla większości zapewnienie zatrudnienia to nie tylko nowe wyzwanie lub środowisko — znalezienie pracy ma kluczowe znaczenie dla ich ekonomicznego przetrwania.

ukryć