Zacząłem płakać: Informacje o ostatnich dniach Timnit Gebru w Google – i co dalej

.

Nhung Le

za pomocą

• Karen Hao strona archiwum

16 grudnia 2020 r.

Do tej pory wszyscy słyszeliśmy jakąś wersję tej historii. 2 grudnia, po przedłużającym się sporze w sprawie opublikowania artykułu badawczego, Google wyparł swojego współlidera etycznego AI, Timnit Gebru . Gazeta była na ryzyko dużych modeli językowych , modele sztucznej inteligencji wytrenowane pod kątem oszałamiającej ilości danych tekstowych, które stanowią podstawę badań biznesowych Google. Gebru, czołowy głos w etyce AI, była jedną z niewielu czarnoskórych kobiet w Google Research.

Od tego czasu ten ruch wywołał debatę na temat rosnącego wpływu korporacji na sztuczną inteligencję, długotrwałego braku różnorodności w technologii i tego, co to znaczy przeprowadzać znaczące badania etyczne AI. Do 15 grudnia ponad 2600 pracowników Google i 4300 innych pracowników ze świata nauki, przemysłu i społeczeństwa obywatelskiego podpisał petycję potępiając zwolnienie Gebru, nazywając to bezprecedensową cenzurą badań i aktem odwetu.

Powiązana historia

Czytamy gazetę, która zmusiła Timnita Gebru do wycofania się z Google. Oto, co mówi.

Znany z firmy badacz etyki zwrócił uwagę na ryzyko związane z dużymi modelami językowymi, które są kluczowe dla działalności Google.

Gebru jest znany z fundamentalnej pracy w ujawnianie dyskryminacji AI , rozwój metody dokumentowania oraz audyt modeli AI oraz opowiadanie się za większą różnorodnością badań. W 2016 roku współtworzyła organizacja non-profit Black w AI , który stał się głównym źródłem informacji dla działaczy na rzecz praw obywatelskich, organizatorów pracy i czołowych badaczy etyki AI, kultywujących i podkreślających czarne talenty badawcze AI.

Utrata pracy nie spowolniła Gebru. W następnym tygodniu wzięła udział w kilku warsztatach na NeurIPS, największej dorocznej konferencji badawczej poświęconej AI, w której w tym roku wzięło udział ponad 20 000 osób. Mówi, że to było terapeutyczne, zobaczyć, jak społeczność, którą pomogła zbudować, pojawiła się i wspierała się nawzajem. Teraz, kolejny tydzień później, po prostu odpoczywa i łapie oddech – i próbuje to wszystko zrozumieć.

W poniedziałek 14 grudnia spotkałem się z Gebru przez Zoom. Opowiedziała, co wydarzyło się podczas jej pracy w Google, zastanawiała się, co to oznaczało dla badań terenowych i etyki AI, i udzieliła pożegnalnych rad tym, którzy chcą nadal rozliczać firmy technologiczne. Możesz także posłuchać specjalnego odcinka naszego podcastu In Machines We Trust, aby zobaczyć najważniejsze fragmenty wywiadu. (Google odrzucił prośbę o komentarz na temat treści tego wywiadu.)

Poniższy tekst został zredagowany i skondensowany.

Chciałem najpierw sprawdzić, jak sobie radzisz.

Czuję, że tak naprawdę nie miałam czasu, aby przetworzyć wszystko, co się wydarzyło, i jego reperkusje emocjonalnie. Po prostu idę i idę i idę. Więc czuję, że prawdopodobnie rozpadnę się w pewnym momencie, gdy będzie trochę ciszy. Ale w tej chwili jestem bardzo zaniepokojony moim zespołem i ludźmi, którzy mnie wspierają, rodzajem ryzyka, jakie podejmują, i upewniam się, że nie zostaną odwetowi.

Było tak wiele relacji o tym, co się wydarzyło. Chciałem zacząć od znacznie wcześniejszego punktu tej historii. Co sprawiło, że początkowo zdecydowałeś się pracować w Google i jak wyglądała wtedy firma Google?

Myślę Samy [Bengio, dyrektor w Google AI] oraz Jeff [Dean, starszy wiceprezes ds. badań Google] byli na warsztatach Black in AI [na NeurIPS w 2017 roku]. Pytali mnie, co zrobiłem, i powiedzieli: O tak, powinieneś przyjść do pracy w Google. Nie planowałem tego. W tym czasie odbywałem staż podoktorski w Microsoft Research [MSR]. Nie wymyśliłem, co zrobię dalej. Ale wiedziałem, że chcę wrócić do Bay Area, a oni tworzyli biuro w Akrze w Ghanie. Pomyślałem, że dobrze by było, gdybym w tym pomogła.

Miałem wiele zastrzeżeń. Byłam w Nowym Jorku w MSR i było tam wiele wokalistek – Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Nie było tak naprawdę kolorowych kobiet. Jedynymi czarnymi kobietami, jakie znam ze wszystkich badań firmy Microsoft, są Danielle Bellgrave w Wielkiej Brytanii i Shawndra Hill w Nowym Jorku. Ale mimo to nawet mężczyźni byli bardzo pomocni. Bardzo wahałem się, czy udać się do środowiska, w którym, jak wiedziałem, Google Research nie jest dobrze znany ze wspierania kobiet. Było wiele problemów, które słyszałem przez moje sieci szeptane. W rzeczywistości, kiedy powiedziałem, że pójdę do Google Research, wiele osób mnie posadziło. Więc już się tego bałem, jak O, stary, ok, w co ja się pakuję?

Zdecydowanie byłam pierwszą czarną kobietą, która została naukowcem w Google. Po mnie mamy jeszcze dwie czarne kobiety. To jak na tak wielu naukowców. Setki i setki. Trzy z Bóg wie ilu.

Nie zawiedli. To była tylko ciągła walka. Próbowałem podejść do tego jak do rozmowy z ludźmi, próbowania ich edukowania, próbowania nakłonienia ich do spojrzenia na pewien punkt widzenia. Ciągle myślałem, że mogliby zrobić lepiej, wiesz? Wraz z Samym stał się wielkim adwokatem. Ludzie narzekali, że ta organizacja [Google Research] zatrudniała tylko 14% kobiet. Samy, mój menedżer, zatrudnił 39% kobiet. To nie było tak, że miał jakąkolwiek motywację, żeby to zrobić. Był jedynym powodem, dla którego czuję, że nie zdarzyło mi się to wcześniej. Pewnie dlatego, że nas chronił. A chroniąc nas, sam wpadłby w tarapaty. Jeśli inni przywódcy pilnują cię tonem, a ty jesteś zbyt głośny, jesteś jak rozrabiaka — wszyscy wiemy, że tak się dzieje z ludźmi takimi jak ja — to jeśli ktoś cię broni, to oczywiście również będzie problemem dla pozostałych liderów.

To były moje dwa lata w Google. Właściwie myślałem, że może robiliśmy postępy do ostatniego incydentu, ponieważ nasz zespół się powiększył. Zaczęło się to prawie rozpadać — dwa miesiące po mojej pracy w Google moja współprzewodnicząca, Meg Mitchell, zamierzała odejść. Ale potem rozszerzyliśmy nasz zespół i teraz jest nas około 12 osób. Pomyślałem więc, że posuwamy się do przodu.

Tyle mówiło się o różnorodności i integracji, ale tyle hipokryzji. Jestem jedną z 1,6% czarnoskórych kobiet w Google. W badaniach [Google] nie jest to 1,6% – jest znacznie niższe. Byłam zdecydowanie pierwszą czarnoskórą kobietą, która została naukowcem w Google. Po mnie mamy jeszcze dwie czarne kobiety. To jak na tak wielu naukowców. Setki i setki. Trzy z Bóg wie ilu.

Więc w pewnym momencie byłem jak, wiesz co? Nie chcę nawet mówić o różnorodności. To jest po prostu wyczerpujące. Chcą mieć z tobą spotkania, nie słuchają cię, a potem znowu chcą się z tobą spotkać. Napisałem milion dokumentów o milionie rzeczy związanych z różnorodnością – o alfabetyzacji rasowej i uczeniu maszynowym [ML], inicjatywach na rzecz uczciwości ML, o retencji kobiet i problemach. Tyle dokumentów i tyle e-maili.

Więc to było tylko jedno po drugim. Nie było ani jednego urlopu, który odbyłem w Google, gdzie nie byłem w trakcie jakiegoś problemu. Po prostu nigdy nie było spokoju. Wyobraź sobie, że ktoś strzela do ciebie z pistoletu, a ty krzyczysz. I zamiast próbować powstrzymać osobę, która strzela do ciebie z pistoletu, próbują powstrzymać cię przed krzykiem. Tak to było. Bycie w tej pozycji w kółko było po prostu tak bolesne.

Udało Ci się zbudować jeden z najbardziej zróżnicowanych zespołów w branży AI. Co właściwie zajęło, żeby to zrobić?

Musieliśmy walczyć z różnymi rzeczami. Musiałem być menedżerem, a wtedy ludzie nie chcieli, żebym był menedżerem. Pomyślałem: OK, założyłem bardzo znaną organizację non-profit. Dlaczego masz „obawy” związane z byciem menedżerem? Samy mi tego nie powiedział, ale musiał przekazać tę wiadomość: Czy ona wie, że może zostać zwolniona za różne rzeczy? Czy wie, że jeśli zostanie menedżerem, to będzie musiała być przedstawicielem Google? Potem ludzie zgłaszali obawy, że wyglądam na niezadowoloną w Google. To nie jest tak, że istnieje toksyczna kultura, która sprawia, że ​​ludzie tacy jak ona są nieszczęśliwi. Więc naprawmy tę kulturę. Nie, to nie była rozmowa. Rozmowa brzmiała: Wydaje się być nieszczęśliwa, więc nie róbmy z niej kierownika.

Byłem wtedy wściekły. Byłam taka zła. Pytałem każdą inną osobę, która została menedżerem na moim poziomie, jakie było ich doświadczenie. Mówię: Ta osoba została menedżerem i nikt nigdy nie zapytał ich, czy wiedzą, że zostaną zwolnieni za X, Y i Z. Ta druga osoba została menedżerem. Nikt nie musiał z nimi rozmawiać. Nie było żadnej dyskusji. Dla mnie tak nie było.

Wyobraź sobie, że ktoś strzela do ciebie z pistoletu, a ty krzyczysz. I zamiast próbować powstrzymać osobę, która strzela do ciebie z pistoletu, próbują powstrzymać cię przed krzykiem.

Inna sprawa: chcieliśmy zatrudnić socjologów. Często badacze po prostu zatrudniają swoich przyjaciół, a nie chcieliśmy tego robić. Zadzwonimy. Otrzymaliśmy 300 aplikacji. Przejrzeliśmy je ręcznie, ponieważ chcieliśmy się upewnić, że rekruterzy nie odfiltrowują pewnych grup osób. Odbyliśmy szybką rozmowę telefoniczną z 20-latkami, przeprowadziliśmy wywiad na miejscu z 10 osobami, a potem zatrudniliśmy dwie z nich.

Myślałem, że robimy postępy, ponieważ byliśmy w stanie zdobyć środki na zatrudnienie tych ludzi. Pomyślałem więc, że może Jeff zaczął wspierać nasz zespół i wspierać rzeczy, które robimy. Nigdy nie wyobrażałem sobie – nie wiem dokładnie, jak to się w ogóle wydarzyło – ale po prostu nie wyobrażałem sobie, że to podpisze [moje zwolnienie]. Nie wyobrażam sobie, żeby to zainicjował, ale nawet jego podpisanie się było dla mnie czymś tak zaskakującym.

Czy w czasie budowania zespołu potrafiłeś budować relacje z innymi zespołami w Google? Czy niektóre części organizacji stały się bardziej podatne na kwestie etyczne AI?

Większość osób w naszym zespole jest zalewana prośbami od innych zespołów lub innych osób. A jednym z naszych wyzwań było nie zawsze być w środku pożaru, ponieważ chcieliśmy przewidywać. Chcieliśmy kształtować to, co dzieje się w przyszłości, a nie tylko reagować.

Największą rozbieżnością, jaką widzę, jest to, że jest tak wielu ludzi, którzy nas szanują, ale są też ludzie na szczycie, tacy jak wiceprezesi, którzy być może nie mogą nas znieść lub po prostu w ogóle nie szanują naszego autorytetu lub wiedzy. Widziałem to wiele razy. Ale ludzie z Google Cloud, a konkretnie Cloud AI, niektórzy z kierownictwa wyższego szczebla, byli bardzo pomocni. Czułem, że naprawdę szanowali nasze przywództwo, więc próbowali wciągnąć nas w wiele rzeczy. Z drugiej strony to ostatnie fiasko nie było od nich. Mam podejrzenia, od których wiceprezesów to pochodzi, iz pewnością nie szanowali naszej wiedzy i przywództwa.

Czy mógłbyś o tym trochę więcej porozmawiać?

Cóż, nawet jeśli tylko widzisz e-mail od Jeffa — Zakładam, że nie napisał tego e-maila; Zakładam, że ktoś to napisał i wysłał – mówi o tym, że w naszych badaniach [artykuł o dużych modelach językowych] były luki, brakowało w nim jakiejś literatury. [E-mail nie brzmi], jakby rozmawiali z ludźmi, którzy są ekspertami w swojej dziedzinie. To nie jest recenzowanie. To nie recenzent nr 2 mówi ci: Hej, brakuje tego cytatu. To grupa ludzi, których nie znamy, którzy są wysoko, bo są w Google od dłuższego czasu, którzy z jakiegoś nieznanego powodu i procesu, którego nigdy nie widziałem, otrzymali władzę zamknąć te badania.

Mieliśmy 128 cytowań [w tej gazecie] i wysłaliśmy nasz artykuł do wielu z tych osób, które cytowaliśmy. Byliśmy tak dokładni. Powiedziałem, dobrze, chcę podzielić ludzi, od których będziemy prosić o opinie, w czterech kategoriach. Jednym z nich są ludzie, którzy sami opracowali duże modele językowe, aby uzyskać ich perspektywę. Jednym z nich są ludzie, którzy pracują w obszarze zrozumienia i łagodzenia uprzedzeń w tych modelach. Jednym z nich są ludzie, którzy mogą nie zgodzić się z naszym poglądem. Jednym z nich są ludzie, którzy używają tych dużych modeli językowych do różnych rzeczy. I mamy cały dokument z tymi wszystkimi opiniami, którymi mieliśmy się zająć, i które chcę jeszcze zrobić, zanim wydamy tę pracę.

Ale sposób, w jaki [kierownictwo Google] rozmawiali z nami, to nie tak, że rozmawiali ze światowej sławy ekspertami i lingwistami. Tak jak Emily Bender [profesor na Uniwersytecie Waszyngtońskim i współautorka artykułu] nie jest przypadkową osobą, która po prostu umieściła swoje nazwisko na losowej gazecie. Czułem, że cała sprawa była tak lekceważąca.

Czy przed wydaniem tego artykułu były wcześniejsze przypadki, w których kiedykolwiek czułeś, że Google ogranicza lub ogranicza zdolność Twojego zespołu do prowadzenia badań?

Miałem wrażenie, że były wcześniejsze przypadki, w których bardzo rozwadniali wyniki badań. Ludzie rozmawiali z PR, polityką lub czymkolwiek i mieli problem z pewnymi sformułowaniami lub z pewnymi szczegółami. Myślałem, że to samo mogą próbować zrobić z tym artykułem. Napisałem więc dokument i ciągle pytałem ich: Jaka dokładnie jest twoja opinia? Czy Twoja opinia dotyczy dodania sekcji? Usuwać? Co to znaczy? O co nas pytasz?

To był dosłownie mój e-mail w piątek po Święcie Dziękczynienia [ 27 listopada, pięć dni przed zwolnieniem Gebru ], ponieważ w Święto Dziękczynienia spędziłem cały dzień na pisaniu tego dokumentu zamiast miło spędzać czas z rodziną. Następnego dnia, w piątek, kiedy miałem wycofać ten artykuł, napisałem: OK, napisałem ten sześciostronicowy dokument, odnosząc się na wysokim i niskim poziomie do wszelkich opinii, jakie udało mi się zebrać. I mam nadzieję, że jest przynajmniej otwartość na dalszą rozmowę, a nie tylko kolejne rozkazy. Napisałem tego e-maila. Tak. Jak Megan [Kacholia, wiceprezes ds. inżynierii w Google Research] odpowiada na tego e-maila? W poniedziałek odpowiada na to i mówi: Czy możesz potwierdzić, że albo wycofałeś artykuł, albo wykreśliłeś nazwiska autorów z tego artykułu. Dziękuję Ci. I czy możesz potwierdzić, kiedy to zrobisz. Wyślij mi e-mail i potwierdź. Jakbym nie miał agencji.

Nie tak postępują z ludźmi, którzy dopuścili się rażącego niewłaściwego postępowania. Wręczają im 80 milionów dolarów i dają im niezłe wyjście. Nie robią tego, co mi zrobili.

Następnie w tym dokumencie napisałem, że było to skrajnym brakiem szacunku dla zespołu ds. etycznej sztucznej inteligencji i potrzebna jest rozmowa, nie tylko z Jeffem i naszym zespołem, Megan i naszym zespołem, ale z całym badaniem dotyczącym szacunku dla naukowców i jak prowadzić tego rodzaju dyskusje. Nie. Żadnego zaangażowania w to.

Nawiasem mówiąc, płakałem. Kiedy miałam pierwsze spotkanie, które miało miejsce w czwartek przed Świętem Dziękczynienia, dzień przed wyjazdem na wakacje – kiedy Megan powiedziała nam, że musisz wycofać tę gazetę, zaczęłam płakać. Byłem tak zdenerwowany, ponieważ powiedziałem, że jestem zmęczony ciągłymi walkami tutaj. Pomyślałem, że jeśli po prostu zignoruję całą tę hipokryzję DEI [różnorodność, równość i włączenie] i inne rzeczy i skupię się na swojej pracy, to przynajmniej będę mógł ją wykonać. A teraz przychodzisz do mojej pracy. Więc dosłownie zacząłem płakać.

Jak myślisz, co było w tej konkretnej gazecie, która zapoczątkowała te wydarzenia? Czy myślisz, że tak naprawdę chodziło o ten artykuł, czy też w grę wchodziły inne czynniki?

Nie wiem. Samy była przerażona całą sprawą. Mówił, że nie tak traktujemy naukowców. Mam na myśli, że ogólnie tak nie traktuje się ludzi. Ludzie rozmawiają o tym, jak to się dzieje z kimś, kto osiągnął ten cel – to pozwala mi sobie wyobrazić, co robią ludziom, zwłaszcza osobom z grup wrażliwych.

Prawdopodobnie myśleli, że będę bardzo cicho. Nie wiem. Nie wydaje mi się, żeby efekt końcowy dotyczył tylko tego artykułu. Może byli zaskoczeni, że w jakikolwiek sposób się odsunąłem. Nadal próbuję dowiedzieć się, co się stało.

Czy kiedykolwiek podejrzewałeś, na podstawie wcześniejszych wydarzeń i napięć, że tak się to skończy? I czy spodziewałeś się odpowiedzi społeczności?

Pomyślałem, że mogą sprawić, że będę wystarczająco nieszczęśliwy, by odejść, czy coś w tym stylu. Pomyślałem, że będą mądrzejsi niż zrobienie tego dokładnie w ten sposób, ponieważ jest to zbieg wielu kwestii, z którymi się borykają: cenzura badań, etyczna sztuczna inteligencja, prawa pracownicze, DEI – wszystkie te rzeczy, z którymi się spotykają ogień przed. Więc nie spodziewałem się, że będzie to w ten sposób – jak całkowite odcięcie mojego konta firmowego. To takie bezwzględne. Nie tak postępują z ludźmi, którzy dopuścili się rażącego niewłaściwego postępowania. Oni wręczyć im 80 milionów dolarów , i dają im trochę miłego wyjścia, a może pasywnie-agresywnie ich nie promują, czy cokolwiek. Nie robią ludziom, którzy faktycznie tworzą wrogie środowisko pracy, tego, co zrobili mnie.

Dowiedziałem się od moich bezpośrednich podwładnych, wiesz? Co jest takie smutne. Byli po prostu tak przerażeni. Myślę, że mój zespół nie spał do 4 lub 5 rano razem, próbując zrozumieć, co się stało. I chodzenie wokół Samy – to wszystko było takie straszne i bezwzględne.

Pomyślałem, że jeśli po prostu... skupię się na swojej pracy, to przynajmniej będę mógł ją wykonać. A teraz przychodzisz do mojej pracy. Więc dosłownie zacząłem płakać.

Oczekiwałem pewnego wsparcia, ale zdecydowanie nie spodziewałem się takiej ilości wylania, jaka jest. To było niesamowite zobaczyć. Nigdy, przenigdy nie doświadczyłem czegoś takiego. To znaczy, przypadkowi krewni piszą do mnie, widziałem to w wiadomościach. To zdecydowanie nie jest coś, czego się spodziewałem. Ale ludzie podejmują teraz tak wiele ryzyka. I to mnie martwi, bo naprawdę chcę mieć pewność, że są bezpieczne.

Wspomniałeś, że nie chodzi tylko o ciebie; nie chodzi tylko o Google. To zbieg wielu różnych kwestii. Co to konkretne doświadczenie mówi o ogólnym wpływie firm technologicznych na sztuczną inteligencję i ich zdolności do rzeczywistego wykonywania znaczącej pracy w zakresie etyki sztucznej inteligencji?

Wiesz, było wiele osób porównywanie Big Tech i Big Tobacco i jak cenzurowali badania, mimo że od jakiegoś czasu znali problem. Odrzucam dychotomię „akademia kontra technologia”, ponieważ obaj mają ten sam rodzaj bardzo rasistowskiego i seksistowskiego paradygmatu. Paradygmat, którego się uczysz i przenosisz do Google lub gdziekolwiek, zaczyna się w środowisku akademickim. A ludzie się poruszają. Idą do przemysłu, a potem wracają do środowiska akademickiego lub odwrotnie. Wszyscy są przyjaciółmi; wszyscy jadą na te same konferencje.

Nie sądzę, że lekcja jest taka, że ​​nie powinno być badań etycznych dotyczących AI w firmach technologicznych, ale myślę, że lekcja jest taka, że ​​a) potrzeba dużo więcej niezależnych badań. Musimy mieć większy wybór niż tylko DARPA [Agencja Zaawansowanych Projektów Badawczych Obrony] kontra korporacje. I b) oczywiście konieczny jest nadzór nad firmami technologicznymi. W tym momencie po prostu nie rozumiem, jak możemy nadal myśleć, że będą się regulować w zakresie DEI lub etyki, czy cokolwiek to jest. Nie postępowali właściwie i nie zrobią tego, co należy.

Myślę, że instytucje akademickie i konferencje muszą przemyśleć swoje relacje z dużymi korporacjami i ilość pieniędzy, które od nich zabierają. Niektórzy nawet zastanawiali się, na przykład, czy niektóre z tych konferencji nie powinny mieć kodeksu postępowania bez cenzury lub coś w tym stylu. Myślę więc, że te konferencje i instytucje naukowe mogą wiele zrobić. W tej chwili jest zbyt duży brak równowagi sił.

Jak myślisz, jaką rolę mogą odegrać badacze etyki, jeśli są w firmach? W szczególności, jeśli Twój były zespół zostaje w Google, jaką drogę widzisz dla niego pod względem zdolności do wykonywania skutecznej i znaczącej pracy?

Myślę, że musi istnieć jakiś rodzaj ochrony dla takich ludzi lub badaczy takich jak ta. W tej chwili oczywiście bardzo trudno jest sobie wyobrazić, jak ktokolwiek może przeprowadzić jakiekolwiek prawdziwe badania w tych korporacjach. Ale jeśli masz ochronę pracy, jeśli masz ochronę sygnalistów, jeśli masz większy nadzór, ludziom może być łatwiej być chronionym podczas wykonywania tego rodzaju pracy. To bardzo niebezpieczne, jeśli tego rodzaju badacze robią to, co mój współpracownik nazywał zakrywaniem liści figowych – pracą. Na przykład niczego nie zmieniamy, po prostu kładziemy listek figowy na sztuce. Jeśli jesteś w środowisku, w którym ludzie, którzy mają władzę, nie inwestują w zmienianie czegokolwiek w rzeczywistości, ponieważ nie mają żadnej motywacji, oczywiście posiadanie tego rodzaju badaczy w tym miejscu wcale nie pomoże. Ale myślę, że jeśli uda nam się stworzyć mechanizmy odpowiedzialności i nadzoru, mechanizmy ochrony, mam nadzieję, że pozwolimy takim badaczom dalej istnieć w korporacjach. Ale wiele musi się zmienić, aby tak się stało.

Czy oprócz konferencji lub przepisów zmieniających struktury zachęt istnieją inne mechanizmy lub rzeczy, które mogą stanowić część tych zewnętrznych ram nadzoru? Czy widzisz jakąkolwiek rolę, jaką społeczeństwo mogłoby odegrać w pociąganiu firm technologicznych do odpowiedzialności?

Muszę o tym więcej pomyśleć. Myślę, że społeczeństwo musi być lepiej wyedukowane w roli, jaką firmy technologiczne, a także sztuczna inteligencja, odgrywają w naszym codziennym życiu. Wiele osób wykonało w tym naprawdę dobrą robotę. Ludzie pisali książki— Broń matematycznego niszczenia była dla mnie bardzo dobrą książką do przeczytania. Jest Odchylenie kodowane , dokumentacja. Cieszę się również, że zaczynam widzieć uniwersytety oferujące niektóre z tych zajęć z informatyki. Myślę, że powinny być wymagane. Nicki Waszyngton ma zajęcia w Duke że żałuję, że nie mogłem wziąć. Ruha [Beniamin] ma zajęcia [w Princeton] . Myślę, że nasze zrozumienie tego, jak rozwija się nauka i jak rozwija się inżynieria — po prostu musi się zmienić. Opinia publiczna musi zrozumieć polityczny charakter tej pracy. Moim zdaniem systemy szkolnictwa wyższego są pod tym względem bardzo opóźnione. Muszą wykonać dużo pracy.

Jeśli chodzi o opinię publiczną, myślę, że gdybym miał cofnąć się do trzech, czterech lat temu, świadomość byłaby znacznie mniejsza. Teraz podmioty takie jak ACLU [Amerykańska Unia Swobód Obywatelskich] są mocno zaangażowane; ty masz Algorytmiczna Liga Sprawiedliwości , Dane dla Black Lives , dużo tu pracuje. Myślę więc, że opinia publiczna może dowiedzieć się więcej. Ale myślę, że to bardziej dotyczy polityków, ponieważ mamy mechanizm angażowania opinii publicznej w różne sprawy. Ale politycy nie dają społeczeństwu możliwości zaangażowania się. Na przykład [firma zajmująca się analizą danych] Palantir był używany w Nowym Orleanie za predykcyjną policję i nikt nie wiedział. Nie było głosowania. Nie było rachunku. Nie było na ten temat dyskusji. Dlatego nasz rząd musi aktywnie dawać społeczeństwu szansę wzięcia udziału w tego typu kwestiach.

Co to znaczy, że faktycznie działa sensowna etyka AI?

Myślę, że może to oznacza, że ​​można kwestionować fundamentalne przesłanki i fundamentalne kwestie AI. Nie musisz po prostu ukrywać rzeczy lub nie musisz być po prostu reakcyjny. Możesz przewidywać przyszłość i wcześnie rozpocząć prace nad produktami, a nie tylko robić rzeczy po fakcie. To jest rzecz numer jeden, o której myślę. I że ludzie, na których ta technologia ma największy wpływ, powinni mieć bardzo duży głos, zaczynając od samego początku.

Wspomniałeś wcześniej, że etyka w firmach technologicznych często pochodzi odgórnie, od ludzi, na których technologia niekoniecznie ma wpływ. Jaka jest idealna równowaga między faktem, że marginalizowane głosy prowadzą rozmowę, a jednocześnie mają poparcie najwyższego kierownictwa?

Jeśli ludzie na marginesie nie mają władzy, nie ma zachęty, by ktokolwiek ich słuchał lub by kształtowali dyskusję. Myślę więc, że ludzie na szczycie muszą wspierać środowisko, w którym ludzie na marginesie kształtują dyskusje na temat tych spraw, etyki AI, różnorodności i integracji.

Uczy się nas, gdy uczymy się nauk ścisłych obiektywnie, tak zwanych poglądów znikąd, tak jakbyś nie miał przedstawiać swojego punktu widzenia. Myślę, że ludzie powinni postępować dokładnie odwrotnie.

To nie dzieje się teraz. Idziesz do Google i widzisz wszystkich ludzi wysokiego szczebla zajmujących się etyką AI — absolutnie nie są to w ogóle ludzie z niedostatecznie reprezentowanych grup. To była rozmowa, którą prowadziliśmy, kiedy tam byłem i wielu z nas było nią bardzo sfrustrowanych. Mieliśmy te zasady zatytułowane „Nic o nas bez nas” i pierwszą rzeczą, na którą wpadliśmy, było bezpieczeństwo psychiczne. Czy możesz sobie wyobrazić? Oznacza to, że nie karz mnie za mówienie, co dokładnie zrobili. Musisz więc szukać danych wejściowych, ale z drugiej strony nie rób tego w drapieżny sposób. Zanim nawet pomyślisz o produktach, które budujesz lub o badaniach, które prowadzisz, musisz zacząć wyobrażać sobie: jak możesz pracować z ludźmi z marginesu, aby kształtować tę technologię?

Czy w jakiś sposób postrzegasz siebie jako męczennika?

Nie próbowałem nim być i nie sądzę, że teraz jestem męczennikiem. Mam nadzieję, że jestem raczej agentem zmian. Ale tak, Google uczynił mnie jednym, bardziej niż byłbym, gdyby mi tego nie zrobili.

Co dalej dla Ciebie?

O stary. Nie miałem czasu o tym myśleć. W tej chwili dosłownie staram się upewnić, że mój zespół jest bezpieczny, upewnić się, że narracja dotycząca tego, co się ze mną dzieje, jest dokładna i odetchnąć, kiedy tylko mogę. Mam nadzieję, że napiję się wina, zjedz coś, zjedz czekoladę, spędź czas z rodziną. I może później to wymyślę. Ale moim największym priorytetem jest nie przebywanie w takim środowisku, w jakim się znajdowałem. To mój największy priorytet.

Jaką radę masz dla innych ludzi, którzy chcą wykorzystać swoją pracę, którą wykonałeś?

Radzę poczytać kilka prac, o których wspomniałem, zwłaszcza autorstwa Sukienka [Benjamin] , Meredith [Broussard] , Safija [szlachetny] , Simone Browne i wielu innych ludzi. I wnieś do tego swoje przeżyte doświadczenie. Nie próbuj odrywać się od tej pracy. To ma wiele wspólnego z tobą. Więc twój kąt i twoja siła będą zależeć od tego, jakie jest twoje przeżyte doświadczenie. wygłosiłem wykład o nazwie Hierarchia wiedzy i uczenia maszynowego , i w pewnym sensie chodziło o to: jak jesteśmy uczeni, gdy uczymy się obiektywnie nauk ścisłych, co nazywa się poglądem znikąd, tak jakbyś nie miał przedstawiać swojego punktu widzenia. Myślę, że ludzie powinni postępować dokładnie odwrotnie.

Aktualizacja: wyjaśniliśmy tytuł zawodowy Samy'ego Bengio i poprawiliśmy odniesienie do badacza. Timnit odnosił się do Jen Wortman Vaughan, starszego głównego badacza w MSR, a nie Jen Chayes, byłego dyrektora tej samej firmy.