211service.com
Programy AI uczą się wykluczać niektóre afroamerykańskie głosy
Interfejsy głosowe, chatboty i inne systemy dyskryminują niektóre dialekty mniejszości. 16 sierpnia 2017 r.
Zbyt często ludzie dokonują szybkich osądów na podstawie tego, jak mówisz. Niektóre systemy sztucznej inteligencji uczą się też uprzedzać do niektórych dialektów. A ponieważ systemy sztucznej inteligencji oparte na językach stają się coraz bardziej powszechne, niektóre mniejszości mogą być automatycznie dyskryminowane przez maszyny, ostrzegają badacze badający ten problem.
Każdy, kto ma silny lub nietypowy akcent, może wiedzieć, jak to jest mieć problemy ze zrozumieniem przez Siri lub Alexę. Dzieje się tak, ponieważ systemy rozpoznawania głosu wykorzystują technologię języka naturalnego do analizowania treści mowy i często opierają się na algorytmach, które zostały wytrenowane na przykładowych danych. Jeśli nie ma wystarczającej liczby przykładów konkretnego akcentu lub języka, systemy te mogą cię po prostu nie zrozumieć (patrz Problem językowy AI).
Problem może być bardziej rozpowszechniony i zgubny, niż większość ludzi zdaje sobie sprawę. Technologia języka naturalnego umożliwia teraz automatyczne interakcje z klientami za pośrednictwem zautomatyzowanych systemów telefonicznych lub chatbotów. Służy do badania opinii publicznej w Internecie i sieciach społecznościowych oraz do przeszukiwania pisemnych dokumentów w celu uzyskania przydatnych informacji. Oznacza to, że usługi i produkty oparte na systemach językowych mogą już być niesprawiedliwą dyskryminacją niektórych grup.
Brendan O'Connor , adiunkt na Uniwersytecie Massachusetts w Amherst i jeden z jego absolwentów, Su Lin Blodgett , przyjrzał się użyciu języka na Twitterze. Korzystając z filtrowania demograficznego, badacze zebrali 59,2 miliona tweetów, które z dużym prawdopodobieństwem zawierają afroamerykański slang lub język narodowy. Następnie przetestowali na tym zestawie danych kilka narzędzi do przetwarzania języka naturalnego, aby zobaczyć, jak potraktują te stwierdzenia. Odkryli, że jedno popularne narzędzie sklasyfikowało te posty jako duńskie z wysokim poziomem pewności.
Jeśli analizujesz Twittera pod kątem opinii ludzi na temat polityka i nawet nie zastanawiasz się nad tym, co mówią Afroamerykanie lub młodzi dorośli, wydaje się to problematyczne, mówi O’Connor.
Para przetestowała również kilka popularnych interfejsów API opartych na uczeniu maszynowym, które analizują tekst pod kątem znaczenia i sentymentu, i odkryli, że te systemy również mają problemy. Jeśli kupujesz analizator sentymentu od jakiejś firmy, nawet nie wiesz, jakie ma w sobie uprzedzenia, mówi O’Connor. Nie mamy zbyt wielu audytów ani wiedzy na ten temat.
Mówi, że problem rozciąga się na każdy system używający języka, w tym wyszukiwarki.
Kwestia nieuczciwości wynikającej ze stosowania algorytmów AI zyskuje w niektórych kręgach uwagę, ponieważ algorytmy te są stosowane w szerszym zakresie. Jednym z kontrowersyjnych przykładów możliwej stronniczości jest zastrzeżony algorytm o nazwie Kompas, który jest używany do decydowania, czy więźniowie powinni otrzymać zwolnienie warunkowe. Działanie algorytmu jest nieznane, ale Badania sugeruje, że jest stronniczy w stosunku do czarnych więźniów.
Niektórzy eksperci twierdzą jednak, że problem może być poważniejszy niż wielu ludzi zdaje sobie sprawę, wpływając na coraz większą liczbę decyzji w finansach, opiece zdrowotnej i edukacji (zob. Stronnicze algorytmy są wszędzie i nikogo to nie obchodzi).
Naukowcy z UMass zaprezentowali swoją pracę na warsztatach poświęconych badaniu problemu stronniczości w sztucznej inteligencji. Wydarzenie „Uczciwość i przejrzystość w uczeniu maszynowym” było częścią większej konferencji poświęconej nauce danych w tym roku, ale w 2018 r. stanie się samodzielną konferencją. Solone Baroki , adiunkt w Cornell i współzałożyciel wydarzenia, mówi, że dziedzina się rozwija, a coraz więcej naukowców bada problem stronniczości w systemach sztucznej inteligencji.
Wspólny Goel , adiunkt na Uniwersytecie Stanforda, który bada sprawiedliwość algorytmiczną i politykę publiczną, mówi, że sprawa nie zawsze jest prosta. Zauważa, że nazwanie algorytmów stronniczymi może być zbyt uproszczone, ponieważ mogą one działać całkowicie zgodnie z zamierzeniami, tworząc dokładne przewidywania i po prostu odzwierciedlając szersze uprzedzenia społeczne. Lepiej opisać, co robi algorytm, powód, dla którego to robi, a potem zdecydować, czy tego chcemy, mówi Goel.