Wewnątrz walki o odzyskanie AI spod kontroli Big Tech

Na zdjęciu w górnym rzędzie od lewej: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Drugi rząd: Radość Buolamwini. Trzeci rząd od lewej: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru nigdy nie myślał artykuł naukowy sprawiłoby jej tyle kłopotów.

W 2020 r. Gebru, jako współprzewodniczący zespołu Google ds. etycznej sztucznej inteligencji, skontaktował się z: Emily Bender , profesor lingwistyki na Uniwersytecie Waszyngtońskim, i obaj postanowili współpracować w badaniach nad niepokojącym kierunkiem sztucznej inteligencji. Gebru chciał zidentyfikować ryzyko stwarzane przez duże modele językowe , jeden z najbardziej oszałamiających ostatnich odkryć w badaniach nad sztuczną inteligencją. Modele to algorytmy wytrenowane na oszałamiającej ilości tekstu. W odpowiednich warunkach potrafią skomponować coś, co wygląda na przekonujące fragmenty prozy.

Ta historia była częścią naszego wydania z lipca 2021 r.

• Zobacz resztę numeru
• Subskrybuj

Przez kilka lat firmy technologiczne ścigały się, aby zbudować większe wersje i zintegrować je z produktami konsumenckimi. Google, który wynalazł tę technikę, już używał jej do poprawy trafności wyników wyszukiwania. OpenAI ogłosił największy, zwany GPT-3 , w czerwcu 2020 r., a kilka miesięcy później udzielił licencji wyłącznie firmie Microsoft.

Gebru martwił się, jak szybko technologia jest wdrażana. W gazecie, którą skończyła, pisząc z Benderem i pięcioma innymi osobami, szczegółowo opisała możliwe niebezpieczeństwa. Tworzenie modeli było niezwykle kosztowne — zarówno pod względem środowiskowym (wymagają ogromnej mocy obliczeniowej), jak i finansowym; często szkolono ich w toksycznym i obraźliwym języku Internetu; i zdominowali badania nad językową sztuczną inteligencją, wyszukując obiecujące alternatywy.

Podobnie jak inne istniejące techniki sztucznej inteligencji, modele tak naprawdę nie rozumieją języka. Ale ponieważ mogą manipulować nim, aby uzyskać informacje tekstowe dla użytkowników lub wygenerować naturalną rozmowę, mogą zostać umieszczone w produktach i usługach, które przynoszą firmom technologicznym dużo pieniędzy.

W listopadzie Gebru przedstawił artykuł na konferencji. Wkrótce potem dyrektorzy Google poprosili ją o wycofanie go, a kiedy odmówiła, zwolnili ją. Dwa miesiące później oni też zwolniła swoją współautorkę Margaret Mitchell , drugi lider etycznego zespołu AI.

Demontaż tego zespołu wywołał jedną z największych kontrowersji w świecie sztucznej inteligencji w ostatnich czasach. Obrońcy Google przekonywali, że firma ma prawo nadzorować własnych badaczy. Ale dla wielu innych utrwaliło to obawy o stopień kontroli, jaką giganci technologiczni mają teraz nad polem. Big Tech jest obecnie głównym pracodawcą i fundatorem naukowców zajmujących się sztuczną inteligencją, w tym, nieco ironicznie, wielu z tych, którzy oceniają jej skutki społeczne.

Powiązana historia

Czytamy gazetę, która zmusiła Timnita Gebru do wycofania się z Google. Oto, co mówi.

Znany z firmy badacz etyki zwrócił uwagę na ryzyko związane z dużymi modelami językowymi, które są kluczowe dla działalności Google.

Wśród najbogatszych i najpotężniejszych firm na świecie, Google, Facebook, Amazon, Microsoft i Apple uczyniły sztuczną inteligencję podstawową częścią swojej działalności. Postępy w ciągu ostatniej dekady, szczególnie w technice sztucznej inteligencji zwanej głęboka nauka , umożliwiły im monitorowanie zachowania użytkowników; polecać im nowości, informacje i produkty; a przede wszystkim kieruj je za pomocą reklam. W zeszłym roku aparat reklamowy Google wygenerował ponad 140 miliardów dolarów przychodu. Facebook wygenerował 84 miliardy dolarów.

Firmy mocno zainwestowały w technologię, która przyniosła im tak ogromne bogactwo. Firma macierzysta Google, Alphabet, przejęła laboratorium AI z siedzibą w Londynie DeepMind za 600 milionów dolarów w 2014 roku i wydaje setki milionów rocznie na wsparcie swoich badań. W 2019 r. Microsoft podpisał umowę o wartości 1 miliarda dolarów z OpenAI na prawa do komercjalizacji swoich algorytmów.

Jednocześnie giganci technologiczni stali się dużymi inwestorami w uniwersyteckie badania nad sztuczną inteligencją, silnie wpływając na jej priorytety naukowe. Z biegiem lat coraz bardziej ambitni naukowcy przeszli do pracy dla gigantów technologicznych w pełnym wymiarze godzin lub przyjęli podwójną afiliację. W latach 2018-2019 58% najczęściej cytowanych artykułów na dwóch najważniejszych konferencjach poświęconych sztucznej inteligencji miało co najmniej jednego autora związanego z gigantem technologicznym, w porównaniu z zaledwie 11% dziesięć lat wcześniej, wynika z badania przeprowadzonego przez naukowców z Radykalna sieć AI , grupa, która stara się kwestionować dynamikę mocy w sztucznej inteligencji.

Problem polega na tym, że korporacyjny program AI skupił się na technikach o potencjale komercyjnym, w dużej mierze ignorując badania, które mogą pomóc w sprostaniu wyzwaniom, takim jak nierówność ekonomiczna i zmiana klimatu. W rzeczywistości pogorszyło to te wyzwania. Dążenie do automatyzacji zadań kosztowało zadania i doprowadziło do powstania żmudnej pracy, takiej jak czyszczenie danych i moderacja treści. Dążenie do tworzenia coraz większych modeli spowodowało eksplozję zużycia energii przez sztuczną inteligencję. Głębokie uczenie stworzyło również kulturę, w której nasze dane są stale pozyskiwane, często bez zgody, w celu szkolenia produktów, takich jak systemy rozpoznawania twarzy. Algorytmy rekomendacji zaostrzyły polaryzację polityczną, podczas gdy modele dużych języków nie zdołały usunąć dezinformacji.

To jest ta sytuacja, którą Gebru i rosnący ruch podobnie myślących naukowców chcą zmienić. W ciągu ostatnich pięciu lat starali się odsunąć priorytety w tej dziedzinie od prostego wzbogacania firm technologicznych poprzez zwiększanie liczby osób, które mogą uczestniczyć w opracowywaniu technologii. Ich celem jest nie tylko złagodzenie szkód powodowanych przez istniejące systemy, ale także stworzenie nowej, bardziej sprawiedliwej i demokratycznej sztucznej inteligencji.

Witam z Timnit

W grudniu 2015 r. Gebru zasiadł do napisania listu otwartego. W połowie swojego doktoratu w Stanford wzięła udział w konferencji Neural Information Processing Systems, największym dorocznym spotkaniu badawczym poświęconym sztucznej inteligencji. Spośród ponad 3700 tamtejszych badaczy Gebru naliczył tylko garstkę czarnych.

Niegdyś małe spotkanie poświęcone niszowemu przedmiocie akademickiemu, NeurIPS (jak jest teraz znane) szybko stawało się największą coroczną bonanzą pracy w AI. Najbogatsze firmy świata przyjeżdżały, by popisywać się demonstracjami, organizować ekstrawaganckie imprezy i wypisywać potężne czeki dla najrzadszych ludzi w Dolinie Krzemowej: zręcznych badaczy sztucznej inteligencji.

W tym samym roku Elon Musk przybył, aby ogłosić przedsięwzięcie non-profit Otwórz AI . On, ówczesny prezes Y Combinator, Sam Altman, i współzałożyciel PayPal, Peter Thiel, przeznaczyli miliard dolarów na rozwiązanie tego, co uważali za problem egzystencjalny: perspektywę, że pewnego dnia superinteligencja może przejąć władzę nad światem. Ich rozwiązanie: zbudować jeszcze lepszą superinteligencję. Spośród 14 doradców lub członków zespołu technicznego, których namaścił, 11 było białymi mężczyznami.

RICARDO SANTOS | ZDJĘCIE UPRZEJMOŚCI

Podczas gdy Musk był lwiony, Gebru zmagał się z poniżaniem i nękaniem. Na przyjęciu konferencyjnym grupa pijanych facetów w koszulkach Google Research otoczyła ją i poddała niechcianym uściskom, pocałunkom w policzek i zrobieniu zdjęcia.

Gebru wypisała zjadliwą krytykę tego, co zaobserwowała: spektakl, kultowy kult celebrytów AI, a przede wszystkim przytłaczająca jednorodność. Napisała, że ​​kultura klubowa tego chłopca już wypchnęła utalentowane kobiety z pola. Prowadził także całą społeczność w kierunku niebezpiecznie wąskiej koncepcji sztucznej inteligencji i jej wpływu na świat.

Zauważyła, że ​​Google wdrożyło już algorytm komputerowej wizji, który klasyfikuje czarnoskórych jako goryle. A rosnące wyrafinowanie bezzałogowych dronów skierowało armię USA na drogę ku śmiercionośnej broni autonomicznej. Ale nie było wzmianki o tych kwestiach w wielkim planie Muska, aby powstrzymać sztuczną inteligencję przed przejęciem świata w jakimś teoretycznym scenariuszu przyszłości. Nie musimy rzutować w przyszłość, aby zobaczyć potencjalne negatywne skutki AI, napisał Gebru. To już się dzieje.

Gebru nigdy nie opublikowała swojej refleksji. Ale zdała sobie sprawę, że coś musi się zmienić. 28 stycznia 2016 r. wysłała e-mail z tytułem Hello od Timnit do pięciu innych badaczy Black AI. Zawsze byłam smutna z powodu braku koloru w AI, napisała. Ale teraz widziałem was 5 :) i pomyślałem, że fajnie by było, gdybyśmy zaczęli czarny w grupie AI lub przynajmniej się znali.

Wiadomość e-mail wywołała dyskusję. Co takiego było w byciu Czarnym, co wpłynęło na ich badania? Dla Gebru jej praca była w dużej mierze produktem jej tożsamości; dla innych nie. Ale po spotkaniu zgodzili się: jeśli sztuczna inteligencja miała odgrywać większą rolę w społeczeństwie, potrzebowali więcej czarnych badaczy. W przeciwnym razie ta dziedzina przyniosłaby słabszą naukę – a jej negatywne konsekwencje mogłyby być znacznie gorsze.

Program nastawiony na zysk

Jak Czarny w AI dopiero zaczynała się łączyć, sztuczna inteligencja osiągnęła swój komercyjny krok. Według McKinsey Global Institute w 2016 roku giganci technologiczni wydali na rozwój technologii około 20-30 miliardów dolarów.

Podgrzane inwestycjami korporacyjnymi pole się wypaczyło. Tysiące kolejnych badaczy zaczęło studiować sztuczną inteligencję, ale głównie chcieli pracować nad algorytmami głębokiego uczenia, takimi jak te stojące za dużymi modelami językowymi. Jako młody doktorant, który chce dostać pracę w firmie technologicznej, zdajesz sobie sprawę, że firmy technologiczne skupiają się na głębokim uczeniu się, mówi Suresh Venkatasubramanian, profesor informatyki, który obecnie pracuje w Biurze ds. Polityki Nauki i Technologii Białego Domu. Przenosisz więc wszystkie swoje badania na głębokie uczenie. Następnie przychodzący doktorant rozgląda się i mówi: „Wszyscy uczą się głębokiego. Prawdopodobnie też powinienem to zrobić.

Ale głębokie uczenie nie jest jedyną techniką w tej dziedzinie. Przed boomem istniało inne podejście AI znane jako rozumowanie symboliczne. Podczas gdy uczenie głębokie wykorzystuje ogromne ilości danych do uczenia algorytmów o znaczących relacjach w informacjach, rozumowanie symboliczne koncentruje się na jawnym kodowaniu wiedzy i logice opartej na ludzkiej wiedzy fachowej.

Niektórzy badacze uważają teraz, że te techniki należy łączyć. Podejście hybrydowe sprawiłoby, że sztuczna inteligencja byłaby bardziej wydajna w wykorzystywaniu danych i energii, a także dawałaby jej wiedzę i umiejętności rozumowania eksperta, a także zdolność do aktualizowania się o nowe informacje. Jednak firmy mają niewielką motywację do poszukiwania alternatywnych podejść, gdy najpewniejszym sposobem maksymalizacji zysków jest budowanie coraz większych modeli.

W swoim artykule Gebru i Bender nawiązali do podstawowego kosztu tej tendencji do trzymania się głębokiego uczenia: bardziej zaawansowane systemy sztucznej inteligencji, których potrzebujemy, nie są rozwijane, a podobne problemy wciąż się powtarzają. Na przykład Facebook w dużym stopniu opiera się na dużych modelach językowych do automatycznego moderowania treści. Ale bez prawdziwego zrozumienia znaczenia tekstu, te modele często zawodzą. Regularnie usuwają nieszkodliwe posty, jednocześnie przepuszczając mowę nienawiści i dezinformację.

Systemy rozpoznawania twarzy oparte na sztucznej inteligencji cierpią na ten sam problem. Są przeszkoleni na ogromnych ilościach danych, ale widzą tylko wzorce pikseli — nie mają pojęcia o wizualnych koncepcjach, takich jak oczy, usta i nosy. To może powalić te systemy, gdy są używane na osobach o innym odcieniu skóry niż osoby, które pokazano im podczas treningu. Niemniej jednak Amazon i inne firmy sprzedały te systemy organom ścigania. W Stanach Zjednoczonych spowodowali trzy znane przypadki uwięzienia przez policję niewłaściwej osoby – wszystkich czarnych mężczyzn – w ciągu ostatniego roku.

Przez lata wielu członków społeczności AI w dużej mierze zgadzało się z rolą Big Tech w kształtowaniu rozwoju i wpływu tych technologii. Podczas gdy niektórzy wyrażali zakłopotanie związane z przejęciem korporacji, o wiele więcej z zadowoleniem przyjęło głęboką studnię finansowania branży.

Jednak w miarę jak niedociągnięcia dzisiejszej sztucznej inteligencji stały się bardziej widoczne – zarówno jej niepowodzenie w rozwiązywaniu problemów społecznych, jak i narastające przykłady, że może je zaostrzać – wiara w Big Tech osłabła. Odsunięcie przez Google Gebru i Mitchella dodatkowo podsyciło dyskusję, ujawniając, jak bardzo firmy będą przedkładać zysk nad samokontrolę.

Bezpośrednio po tym ponad 2600 pracowników Google i 4300 innych podpisało petycję potępiającą zwolnienie Gebru jako bezprecedensową cenzurę badań. Pół roku później grupy badawcze nadal odrzucają finansowanie firmy, naukowcy odmawiają udziału w warsztatach konferencyjnych, a pracownicy odchodzą w proteście.

W przeciwieństwie do pięciu lat temu, kiedy Gebru zaczął podnosić te pytania, teraz istnieje ugruntowany ruch, który kwestionuje, czym powinna być sztuczna inteligencja i komu ma służyć. To nie przypadek. Jest to w dużej mierze produkt własnej inicjatywy Gebru, która rozpoczęła się od prostego aktu zaproszenia większej liczby czarnych badaczy do pracy w terenie.

Trwa konferencja

W grudniu 2017 nowa grupa Black in AI gościła swoje pierwsze warsztaty w NeurIPS. Organizując warsztaty, Gebru zwrócił się do Joy Buolamwini, badaczki z MIT Media Lab, która badała komercyjne systemy rozpoznawania twarzy pod kątem możliwych stronniczości. Buolamwini zaczęła testować te systemy po tym, jak jedna z nich nie wykryła własnej twarzy, chyba że założyła białą maskę. Swoje wstępne wyniki przekazała na warsztaty.

Deborah Raji, wówczas badaczka studiów licencjackich, była kolejnym wczesnym uczestnikiem. Raji była przerażona kulturą, którą obserwowała w NeurIPS. Warsztat stał się jej wytchnieniem. Przejście od czterech czy pięciu dni do pełnego dnia ludzi, którzy wyglądają jak ja, opowiadających o sukcesie w tej przestrzeni – to była dla mnie bardzo ważna zachęta, mówi.

Buolamwini, Raji i Gebru wspólnie pracowali nad parą przełomowych badań na temat dyskryminujących systemów widzenia komputerowego. Współautorami Buolamwiniego i Gebru Odcienie płci , który pokazał, że systemy rozpoznawania twarzy sprzedawane przez Microsoft, IBM i chińskiego giganta technologicznego Megvii miały wyjątkowo wysoki wskaźnik niepowodzeń w przypadku czarnych kobiet, pomimo prawie doskonałej wydajności w przypadku białych mężczyzn. Raji i Buolamwini następnie współpracowali w kontynuacji o nazwie Aktywny audyt , co okazało się prawdą w przypadku Rekognition firmy Amazon. W 2020 roku Amazon zgodziłby się na roczne moratorium na sprzedaż policyjną jego produktu, po części z powodu tej pracy.

Powiązana historia

Zacząłem płakać: Informacje o ostatnich dniach Timnit Gebru w Google – i co dalej .

Na pierwszych warsztatach Black in AI sukcesy te były jednak odległymi możliwościami. Nie było innego planu niż budowanie społeczności i prowadzenie badań w oparciu o ich bardzo brakujące perspektywy. Wielu gapiów nie rozumiało, dlaczego taka grupa musiała istnieć. Gebru pamięta lekceważące komentarze niektórych członków społeczności AI. Ale dla innych Black w AI wskazał nową drogę naprzód.

Tak było w przypadku Williama Agnew i Raphaela Gontijo Lopes, queerowych mężczyzn prowadzących badania w dziedzinie informatyki, którzy zdali sobie sprawę, że mogą stworzyć grupę Queer w AI. (Inne grupy, które się ukształtowały, to Latinx w AI, {Dis}Ability w AI i Muslim w ML.) W szczególności dla Agnew posiadanie takiej społeczności wydawało się pilną potrzebą. Mówi, że trudno sobie nawet wyobrazić sobie szczęśliwe życie, zastanawiając się nad brakiem queerowych wzorów do naśladowania w tej dziedzinie. Jest Turing, ale popełnił samobójstwo. Więc to jest przygnębiające. A dziwaczna jego część jest po prostu ignorowana.

Nie wszyscy członkowie grupy affinity widzą związek między swoją tożsamością a badaniami. Mimo to, każda grupa posiada określoną wiedzę specjalistyczną. Czerń w sztucznej inteligencji stała się intelektualnym centrum ujawniania dyskryminacji algorytmicznej, krytykowania nadzoru i opracowywania wydajnych technik sztucznej inteligencji. Queer w AI stał się centrum kontestowania sposobów, w jakie algorytmy naruszają prywatność ludzi i domyślnie klasyfikują ich do ograniczonych kategorii.

Venkatasubramanian i Gebru pomogli również w stworzeniu konferencji dotyczącej uczciwości, odpowiedzialności i przejrzystości (FAccT), aby stworzyć forum do badań nad społecznymi i politycznymi konsekwencjami sztucznej inteligencji. Pomysły i projekty artykułów omawiane na warsztatach grupy powinowactwa NeurIPS często stają się podstawą artykułów publikowanych w FAccT, który następnie prezentuje te badania szerszej publiczności.

Na przykład po tym, jak Buolamwini zaprezentował się na pierwszych warsztatach Black in AI, FAccT opublikował Gender Shades. Wraz z Actionable Auditing doprowadziło to następnie do kilku dużych kampanii edukacyjnych i rzeczniczych, mających na celu ograniczenie rządowego wykorzystywania rozpoznawania twarzy. Kiedy Amazon próbował podważyć zasadność badań Buolamwiniego i Raji, dziesiątki badaczy sztucznej inteligencji i organizacji społeczeństwa obywatelskiego połączyło siły, by ich bronić, zapowiadając to, co później zrobią dla Gebru. Wysiłki te ostatecznie przyczyniły się do powstania moratorium Amazona, które w maju firma ogłosiła, że ​​przedłuży się w nieskończoność.

Badania zapoczątkowały również kaskadę regulacji. Kilkanaście miast zakazało policji używania rozpoznawania twarzy, a Massachusetts wymaga teraz, aby policja uzyskała pozwolenie sędziego na jego użycie. Zarówno USA, jak i Komisja Europejska zaproponowały dodatkowe regulacje.

Najpierw musieliśmy po prostu tam być, mówi Gebru. I w pewnym momencie to, co mówi Black w AI, zaczyna nabierać znaczenia. I to, co wspólnie mówią wszystkie te grupy, staje się ważne. Musisz nas teraz posłuchać.

Podążaj za pieniędzmi

Po zwolnieniu Gebru i Mitchella na boisku na nowo zmaga się odwieczne pytanie: czy można zmienić status quo pracując od wewnątrz? Gebru nadal wierzy, że współpraca z gigantami technologicznymi to najlepszy sposób na zidentyfikowanie problemów. Uważa jednak, że badacze korporacyjni potrzebują silniejszej ochrony prawnej. Jeśli widzą ryzykowne praktyki, powinni mieć możliwość publicznego dzielenia się swoimi spostrzeżeniami bez narażania swojej kariery.

Następnie pojawia się kwestia finansowania. Wielu badaczy chce więcej inwestycji ze strony rządu USA w celu wsparcia prac, które są krytyczne dla komercyjnego rozwoju sztucznej inteligencji i poprawiają dobrobyt publiczny. W zeszłym roku przeznaczył marne 1 miliard dolarów na badania nad sztuczną inteligencją niezwiązaną z obronnością. Administracja Bidena prosi teraz Kongres o zainwestowanie dodatkowych 180 miliardów dolarów w nowe technologie, przy czym AI ma najwyższy priorytet.

Takie finansowanie może pomóc osobom lubiącym Abebe wróci , adiunkt informatyki na Uniwersytecie Kalifornijskim w Berkeley. Abebe, który był również współzałożycielem Black in AI, wszedł do AI z pomysłami wykorzystania jej do promowania równości społecznej. Ale kiedy rozpoczęła doktorat w Cornell, nikt nie był skoncentrowany na prowadzeniu takich badań.

Jesienią 2016 roku, jako doktorantka, założyła małą grupę czytelniczą w Cornell z kolegą doktorantem, aby studiować takie tematy, jak niestabilność mieszkaniowa, dostęp do opieki zdrowotnej i nierówność. Następnie rozpoczęła nowy projekt, aby sprawdzić, czy jej umiejętności obliczeniowe mogą wspierać wysiłki na rzecz zmniejszenia ubóstwa.

W końcu znalazła badanie Poverty Tracker, szczegółowe dane na temat wstrząsów finansowych – nieoczekiwanych wydatków, takich jak rachunki za leczenie lub bilety parkingowe – których doświadczyło ponad 2000 nowojorskich rodzin. Podczas wielu rozmów z autorami badania, pracownikami socjalnymi i organizacjami non-profit obsługującymi zmarginalizowane społeczności poznała ich potrzeby i powiedziała im, jak może pomóc. Następnie Abebe opracował model, który pokazał, jak częstotliwość i rodzaj wstrząsów wpływa na status ekonomiczny rodziny.

Pięć lat później projekt nadal trwa. Obecnie współpracuje z organizacjami non-profit, aby ulepszyć swój model, i współpracuje z decydentami za pośrednictwem California Policy Lab, aby wykorzystać go jako narzędzie do zapobiegania bezdomności. Jej grupa czytelnicza również rozrosła się do 2000-osobowej społeczności i organizuje inauguracyjną konferencję jeszcze w tym roku.

Abebe postrzega to jako sposób na zachęcenie większej liczby badaczy do zmiany norm sztucznej inteligencji. Podczas gdy tradycyjne konferencje informatyczne kładą nacisk na rozwój technik obliczeniowych w tym celu, nowa opublikuje prace, które w pierwszej kolejności mają na celu dogłębne zrozumienie problemu społecznego. Praca jest nie mniej techniczna, ale buduje podstawy dla pojawienia się bardziej znaczącej społecznie sztucznej inteligencji.

Te zmiany, o które walczymy – to nie tylko dla zmarginalizowanych grup, mówi. To właściwie dla każdego.

ukryć