Czytamy gazetę, która zmusiła Timnita Gebru do wycofania się z Google. Oto, co mówi.

Znany z firmy badacz etyki zwrócił uwagę na ryzyko związane z dużymi modelami językowymi, które są kluczowe dla działalności Google.





  • Karen Hao strona archiwum
4 grudnia 2020 r. Timnit Gebru

dzięki uprzejmości Timnit Gebru

Wieczorem w środę 2 grudnia Timnit Gebru, współprzewodniczący zespołu Google ds. etycznej sztucznej inteligencji, ogłosił przez Twittera że firma ją zmusiła.

Gebru, powszechnie szanowany lider w badaniach nad etyką AI, jest znany ze współautorstwa przełomowy artykuł który pokazał, że rozpoznawanie twarzy jest mniej dokładne w identyfikowaniu kobiet i osób kolorowych, co oznacza, że ​​jego użycie może prowadzić do ich dyskryminacji. Była także współzałożycielką grupy Black in AI i mistrzami różnorodności w branży technologicznej . Zespół, który pomogła zbudować w Google, jest jednym z najbardziej zróżnicowanych w sztucznej inteligencji i obejmuje wielu czołowych ekspertów. Przedstawiciele w tej dziedzinie zazdrościli jej tworzenia krytycznych prac, które często kwestionowały główne praktyki sztucznej inteligencji.



DO seria tweetów , wyciekły e-maile , oraz artykuły medialne pokazała, że ​​odejście Gebru było kulminacją konfliktu o inny artykuł, którego była współautorką. Jeff Dean, szef Google AI, powiedział kolegom w wewnętrznym e-mailu (który ma od tego czasu) umieścić online ), że gazeta nie spełniła naszych wymagań do publikacji i że Gebru powiedziała, że ​​zrezygnuje, chyba że Google spełni szereg warunków, których nie chciało spełnić. Gebru napisałem to na Twitterze poprosiła o wynegocjowanie ostatniej daty zatrudnienia po powrocie z urlopu. Została odcięta od swojego firmowego konta e-mail przed powrotem.

W Internecie wielu innych liderów w dziedzinie etyki sztucznej inteligencji argumentuje, że firma wypchnęła ją z powodu niewygodnych prawd, które odkrywała na temat podstawowej linii jej badań — i być może jej wyników. Ponad 1400 pracowników Google i 1900 innych osób wspierających również have podpisał list protestacyjny .

Wiele szczegółów dotyczących dokładnej sekwencji wydarzeń, które doprowadziły do ​​odejścia Gebru, nie jest jeszcze jasnych; zarówno ona, jak i Google odmówili komentowania poza swoimi postami w mediach społecznościowych. Ale MIT Technology Review uzyskał kopię artykułu badawczego od jednej ze współautorów, Emily M. Bender, profesor lingwistyki komputerowej na Uniwersytecie Waszyngtońskim. Chociaż Bender poprosił nas, abyśmy nie publikowali samego artykułu, ponieważ autorzy nie chcieli, aby tak wczesny projekt krążył w Internecie, daje on pewien wgląd w pytania Gebru i jej współpracowników dotyczące sztucznej inteligencji, które mogą budzić obawy Google.



O niebezpieczeństwach stochastycznych papug: czy modele językowe mogą być za duże? przedstawia zagrożenia związane z modelami dużych języków — sztuczna inteligencja jest wytrenowana na oszałamiającej ilości danych tekstowych. Te urosły coraz bardziej popularne -oraz coraz większe —w ciągu ostatnich trzech lat. Są teraz niezwykle dobrzy, w odpowiednich warunkach, w tworzeniu czegoś, co wygląda na przekonujący, sensowny nowy tekst – a czasami w szacowaniu znaczenia na podstawie języka. Jednak, jak czytamy we wstępie do artykułu, pytamy, czy poświęcono wystarczająco dużo uwagi potencjalnym zagrożeniom związanym z ich opracowaniem i strategiami ograniczania tych zagrożeń.

Papier

Artykuł, który opiera się na pracach innych badaczy, przedstawia historię przetwarzania języka naturalnego, przegląd czterech głównych zagrożeń związanych z dużymi modelami językowymi oraz sugestie dotyczące dalszych badań. Ponieważ konflikt z Google wydaje się dotyczyć zagrożeń, skupiliśmy się na podsumowaniu tych tutaj.

Koszty środowiskowe i finansowe

Trenowanie dużych modeli AI zużywa dużo mocy obliczeniowej komputera, a co za tym idzie dużo energii elektrycznej. Gebru i jej współautorzy odwołują się do artykułu Emmy Strubell i jej współpracowników z 2019 roku na temat emisje dwutlenku węgla i koszty finansowe dużych modeli językowych. Okazało się, że ich zużycie energii i ślad węglowy gwałtownie rosną od 2017 r., ponieważ modele są zasilane coraz większą ilością danych.



Badanie Strubella wykazało, że wytrenowanie jednego modelu językowego za pomocą określonego typu metody wyszukiwania architektury neuronowej (NAS) dałoby równowartość 626 155 funtów (284 ton metrycznych) dwutlenku węgla — mniej więcej tyle, ile w ciągu całego życia pięciu przeciętnych amerykańskich samochodów. Szkolenie wersji modelu językowego Google, BERT, który stanowi podstawę wyszukiwarka firmy , wyprodukował 1438 funtów ekwiwalentu CO2 według szacunków Strubella - prawie tyle samo, co lot w obie strony między Nowym Jorkiem a San Francisco. Liczby te należy traktować jako minimum, koszt jednorazowego szkolenia modelu. W praktyce modele są wielokrotnie szkolone i ponownie szkolone podczas prac badawczo-rozwojowych.

Projekt Gebru wskazuje, że same zasoby wymagane do zbudowania i utrzymania tak dużych modeli sztucznej inteligencji oznaczają, że przynoszą one korzyści bogatym organizacjom, podczas gdy zmiany klimatyczne najmocniej uderzają w zmarginalizowane społeczności. Naukowcy piszą, że nadszedł już czas, aby nadać priorytet efektywności energetycznej i kosztom, aby zmniejszyć negatywny wpływ na środowisko i niesprawiedliwy dostęp do zasobów.

Ogromne dane, nieprzeniknione modele

Duże modele językowe są również szkolone na wykładniczo rosnących ilościach tekstu. Oznacza to, że naukowcy starali się zebrać wszystkie możliwe dane z Internetu, więc istnieje ryzyko, że rasistowski, seksistowski lub w inny sposób obraźliwy język znajdzie się w danych treningowych.



Model AI nauczony postrzegania rasistowskiego języka jako normalnego jest oczywiście zły. Naukowcy zwracają jednak uwagę na kilka bardziej subtelnych problemów. Jednym z nich jest to, że zmiany językowe odgrywają ważną rolę w zmianach społecznych; na przykład ruchy MeToo i Black Lives Matter próbowały ustanowić nowe słownictwo antyseksistowskie i antyrasistowskie. Model AI wyszkolony na ogromnych obszarach Internetu nie będzie dostrojony do niuansów tego słownictwa i nie będzie produkował ani nie interpretował języka zgodnie z tymi nowymi normami kulturowymi.

Nie będzie również w stanie uchwycić języka i norm krajów i narodów, które mają mniejszy dostęp do Internetu, a tym samym mniejszy ślad językowy w Internecie. W rezultacie język generowany przez sztuczną inteligencję zostanie ujednolicony, odzwierciedlając praktyki najbogatszych krajów i społeczności.

Co więcej, ponieważ zestawy danych treningowych są tak duże, trudno jest je kontrolować, aby sprawdzić te wbudowane błędy. Naukowcy podsumowują, że metodologia, która opiera się na zestawach danych, które są zbyt duże, aby je udokumentować, jest z natury ryzykowna. Podczas gdy dokumentacja pozwala na potencjalną odpowiedzialność [...], nieudokumentowane dane treningowe powodują szkody bez możliwości odwołania.

Koszty alternatywne badań

Naukowcy podsumowują trzecie wyzwanie jako ryzyko źle ukierunkowanych wysiłków badawczych. Chociaż większość badaczy AI przyznaje, że duże modele językowe właściwie nie Rozumiesz język i są po prostu doskonałe w manipulować Dzięki temu Big Tech może zarabiać na modelach, które dokładniej manipulują językiem, więc nadal w nie inwestuje. Ten wysiłek badawczy niesie ze sobą koszt alternatywny, piszą Gebru i jej koledzy. Niewiele wysiłku wkłada się w pracę nad modelami sztucznej inteligencji, które mogą osiągnąć zrozumienie lub osiągnąć dobre wyniki przy mniejszych, staranniej dobranych zestawach danych (a tym samym zużywają mniej energii).

Iluzje znaczenia

Ostatni problem z dużymi modelami językowymi, jak twierdzą naukowcy, polega na tym, że ponieważ są one tak dobre w naśladowaniu prawdziwego ludzkiego języka, łatwo jest ich użyć do oszukania ludzi. Było kilka głośnych spraw, takich jak studentka college'u którzy publikowali na blogu porady dotyczące samopomocy i produktywności generowane przez sztuczną inteligencję, które stały się popularne.

Zagrożenia są oczywiste: modele sztucznej inteligencji mogą być wykorzystywane do generowania dezinformacji na przykład o wyborach lub pandemii Covid-19. Mogą również nieumyślnie pójść źle, gdy zostaną użyte do tłumaczenia maszynowego. Badacze podają przykład: w 2017 r. Facebook źle przetłumaczone stanowisko Palestyńczyka, który mówi dzień dobry po arabsku, atakuje ich po hebrajsku, co prowadzi do jego aresztowania.

Dlaczego jest to ważne

Artykuł Gebru i Bendera ma sześciu współautorów, z których czterech to badacze Google. Bender poprosił o unikanie ujawniania ich nazwisk z obawy przed reperkusjami. (Z kolei Bender jest profesorem etatowym: myślę, że to podkreśla wartość wolności akademickiej, mówi).

Celem artykułu, jak mówi Bender, było dokonanie bilansu aktualnych badań nad przetwarzaniem języka naturalnego. Pracujemy na taką skalę, że ludzie budujący te rzeczy nie mogą w rzeczywistości objąć danych, powiedziała. A ponieważ zalety są tak oczywiste, szczególnie ważne jest, aby cofnąć się i zadać sobie pytanie, jakie są możliwe wady? … Jak możemy czerpać z tego korzyści, jednocześnie zmniejszając ryzyko?

W swoim wewnętrznym e-mailu Dean, szef sztucznej inteligencji Google, powiedział, że jednym z powodów, dla których gazeta nie spełniła naszych wymagań, było to, że zignorowała zbyt wiele istotnych badań. W szczególności powiedział, że nie wspomniał o nowszych pracach nad tym, jak uczynić modele dużych języków bardziej energooszczędnymi i łagodzić problemy z uprzedzeniami.

Jednak sześciu współpracowników skorzystało z szerokiego zakresu wiedzy naukowej. Lista cytowań artykułu, licząca 128 odniesień, jest wyjątkowo długa. To rodzaj pracy, której nie może wykonać żadna pojedyncza osoba ani nawet para autorów, powiedział Bender. To naprawdę wymagało tej współpracy.

Wersja artykułu, który widzieliśmy, odnosi się również do kilku wysiłków badawczych dotyczących zmniejszenia rozmiaru i kosztów obliczeniowych dużych modeli językowych oraz pomiaru wbudowanego obciążenia modeli. Twierdzi jednak, że te wysiłki nie były wystarczające. Jestem bardzo otwarty, aby zobaczyć, jakie inne odniesienia powinniśmy uwzględnić, powiedział Bender.

Nicolas Le Roux, badacz Google AI w biurze w Montrealu, później odnotowane na Twitterze że rozumowanie w e-mailu Deana było niezwykłe. Moje zgłoszenia były zawsze sprawdzane pod kątem ujawnienia wrażliwych materiałów, nigdy pod kątem jakości przeglądu literatury, powiedział.

E-mail Deana mówi również, że Gebru i jej współpracownicy dali Google AI tylko jeden dzień na wewnętrzną recenzję artykułu, zanim przesłali go na konferencję do publikacji. Napisał, że naszym celem jest konkurowanie z recenzowanymi czasopismami pod względem rygoru i troskliwości w sposobie, w jaki oceniamy badania przed publikacją.

Bender zauważyła, że ​​mimo to konferencja nadal poddałaby artykuł szczegółowemu procesowi recenzji: Stypendium to zawsze rozmowa i praca w toku, powiedziała.

Inni, w tym William Fitzgerald, były menedżer ds. PR w Google, mają dalej rzucać wątpliwości na wniosek Dziekana.

Google był pionierem wielu fundamentalnych badań, które od tego czasu doprowadziły do ​​niedawnej eksplozji dużych modeli językowych. Google AI jako pierwszy wymyślił Model języka transformatora w 2017 roku, który służy jako podstawa dla późniejszego modelu firmy BERT oraz GPT-2 i GPT-3 OpenAI. BERT, jak wspomniano powyżej, obsługuje teraz także wyszukiwarkę Google, dojną krową firmy.

Bender obawia się, że działania Google mogą wywrzeć efekt mrożący na przyszłe badania nad etyką AI. Wielu czołowych ekspertów w dziedzinie etyki AI pracuje w dużych firmach technologicznych, ponieważ tam są pieniądze. Mówi, że jest to korzystne pod wieloma względami. Ale kończymy z ekosystemem, który być może ma bodźce, które nie są najlepsze dla postępu nauki dla świata.

Aktualizacja (7 grudnia): Dodano dodatkowe szczegóły w celu wyjaśnienia kosztów środowiskowych dużych modeli językowych.

ukryć