Jak Facebook uzależnił się od rozpowszechniania dezinformacji

Algorytmy sztucznej inteligencji firmy dały jej nienasycony nawyk kłamstw i mowy nienawiści. Teraz człowiek, który je zbudował, nie może rozwiązać problemu.

Winni Wintermeyer

za pomocą

• Karen Hao strona archiwum

11 marca 2021

Joaquin Quiñonero Candela, dyrektor AI na Facebooku, przepraszał swoją publiczność.

Był 23 marca 2018 r., zaledwie kilka dni po ujawnieniu, że Cambridge Analytica, firma konsultingowa, która pracowała nad kampanią wyborczą Donalda Trumpa w 2016 r., potajemnie wyprowadziła dane osobowe dziesiątek milionów Amerykanów z ich kont na Facebooku, próbując wpłynąć na to, jak głosowali. Było to największe naruszenie prywatności w historii Facebooka, a Quiñonero miał wcześniej przemawiać na konferencji, między innymi na temat skrzyżowania sztucznej inteligencji, etyki i prywatności w firmie. Rozważał anulowanie, ale po przedyskutowaniu tego ze swoim dyrektorem ds. komunikacji zachował przydzielony czas.

Kiedy podszedł do pokoju, zaczął od przyznania się. Wspomina, że ​​właśnie przeżyłem najtrudniejsze pięć dni w mojej pracy na Facebooku. Jeśli pojawi się krytyka, przyjmę ją.

Skandal z Cambridge Analytica wywołałby największy w historii Facebook kryzys. Wzmocniło to obawy, że algorytmy określające, co ludzie widzą na platformie, wzmacniają fałszywe wiadomości i mowę nienawiści oraz że rosyjscy hakerzy użyli ich broni, by przechytrzyć wybory na korzyść Trumpa. Miliony zaczął usuwać aplikację ; pracownicy odeszli w proteście; kapitalizacja rynkowa firmy spadła o ponad 100 miliardów dolarów po lipcowym apelu dotyczącym zarobków.

W następnych miesiącach Mark Zuckerberg zaczął przepraszać. Przeprosił, że nie wziął wystarczająco szeroki widok obowiązków Facebooka i jego błędów jako dyrektora generalnego. Wewnętrznie Sheryl Sandberg, dyrektor ds. operacyjnych, rozpoczęła dwuletnią działalność audyt praw obywatelskich zarekomendować, w jaki sposób firma może zapobiec wykorzystywaniu swojej platformy do podważania demokracji.

Wreszcie Mike Schroepfer, dyrektor ds. technologii Facebooka, poprosił Quiñonero o utworzenie zespołu z nieco niejasną dyrektywą: zbadanie społecznego wpływu algorytmów firmy. Grupa nazwała się Society and AI Lab (SAIL); w zeszłym roku połączyła się z innym zespołem zajmującym się kwestiami prywatności danych, tworząc Responsible AI.

Quiñonero był naturalnym wyborem do tej pracy. To on, jak każdy inny, odpowiadał za pozycję Facebooka jako potęgi AI. W ciągu sześciu lat pracy na Facebooku stworzył jedne z pierwszych algorytmów kierowania do użytkowników treściami precyzyjnie dopasowanymi do ich zainteresowań, a następnie rozpowszechnił te algorytmy w całej firmie. Teraz jego zadaniem byłoby uczynienie ich mniej szkodliwymi.

Facebook konsekwentnie wskazuje na wysiłki Quiñonero i innych, starając się naprawić swoją reputację. Regularnie kłusuje różnych przywódców, aby rozmawiać z mediami o trwających reformach. W maju 2019 r. udzielił serii wywiadów z Schroepferem do New York Times, który nagrodził firmę humanizującym profilem wrażliwego dyrektora o dobrych intencjach, który stara się przezwyciężyć techniczne wyzwania związane z odfiltrowywaniem dezinformacji i mowy nienawiści ze strumienia treści, który codziennie liczy miliardy elementów. Te wyzwania są tak trudne, że sprawiają, że Schroepfer jest emocjonalny, napisał Times: Czasami doprowadza go to do łez.

Wiosną 2020 roku najwyraźniej przyszła moja kolej. Ari Entin, dyrektor ds. komunikacji AI na Facebooku, zapytał w e-mailu, czy chcę dokładniej przyjrzeć się pracy firmy nad sztuczną inteligencją. Po rozmowie z kilkoma liderami AI postanowiłem skupić się na Quiñonero. Entin szczęśliwie zobowiązany. Jako nie tylko lider zespołu Responsible AI, ale także człowiek, który przekształcił Facebooka w firmę opartą na sztucznej inteligencji, Quiñonero był dobrym wyborem do wykorzystania jako chłopiec z plakatu.

Dla mnie też wydawał się naturalnym wyborem tematu. Przez lata, odkąd utworzył swój zespół po skandalu z Cambridge Analytica, obawy dotyczące rozpowszechniania kłamstw i mowy nienawiści na Facebooku tylko wzrosły. Pod koniec 2018 roku firma przyznała, że ​​działalność ta miała przyczynił się do napędzania ludobójczej antymuzułmańskiej kampanii w Birmie od kilku lat. W 2020 roku Facebook zaczął z opóźnieniem podejmować działania przeciwko negacjonistom Holokaustu, antyszczepionkom i ruchowi konspiracyjnemu QAnon. Wszystkie te niebezpieczne kłamstwa dawały przerzuty dzięki możliwościom sztucznej inteligencji, które Quiñonero pomógł zbudować. Algorytmy, które stanowią podstawę działalności Facebooka, nie zostały stworzone po to, by odfiltrować to, co jest fałszywe lub podżegające; zostały zaprojektowane tak, aby ludzie mogli udostępniać i angażować się w jak największą ilość treści, pokazując im rzeczy, którymi najprawdopodobniej byliby oburzeni lub podekscytowani. Naprawienie tego problemu wydawało mi się podstawowym obszarem odpowiedzialnej sztucznej inteligencji.

Zacząłem regularnie prowadzić wideorozmowy z Quiñonero. Rozmawiałem również z kierownictwem Facebooka, obecnymi i byłymi pracownikami, rówieśnikami z branży oraz ekspertami zewnętrznymi. Wielu rozmawiało pod warunkiem zachowania anonimowości, ponieważ podpisali umowy o zachowaniu poufności lub obawiali się odwetu. Chciałem wiedzieć: co robił zespół Quiñonero, aby powstrzymać nienawiść i kłamstwa na swojej platformie?

Joaquin Quiñonero Candela przed swoim domem w Bay Area, gdzie mieszka z żoną i trójką dzieci.

WINNI WINTERMEYER

Ale Entin i Quiñonero mieli inny plan. Za każdym razem, gdy próbowałem poruszyć te tematy, moje prośby o omówienie ich były odrzucane lub przekierowywane. Chcieli tylko omówić plan zespołu ds. Odpowiedzialnej AI, aby rozwiązać jeden konkretny rodzaj problemu: stronniczość AI, w której algorytmy dyskryminują określone grupy użytkowników. Przykładem może być algorytm kierowania reklam, który pokazuje pewne możliwości pracy lub mieszkania białym ludziom, ale nie mniejszościom.

Zanim w styczniu tysiące uczestników zamieszek zaatakowało Kapitol Stanów Zjednoczonych, zorganizowane częściowo na Facebooku i napędzane kłamstwami o skradzionych wyborach, które rozeszły się po całej platformie, z moich rozmów jasno wynikało, że zespół odpowiedzialnej sztucznej inteligencji nie zdołał dokonać postęp w walce z dezinformacją i mową nienawiści, ponieważ nigdy nie skupiał się na tych problemach. Co ważniejsze, zdałem sobie sprawę, że gdyby próbował, byłby nastawiony na porażkę.

Powód jest prosty. Wszystko, co firma robi, a czego nie chce robić, wypływa z jednej motywacji: nieustępliwego pragnienia rozwoju Zuckerberga. Ekspertyza AI Quiñonero napędzała ten wzrost. Jego zespół został zaszufladkowany w zwalczanie stronniczości AI, jak dowiedziałem się w swoim raporcie, ponieważ zapobieganie takim uprzedzeniom pomaga firmie uniknąć projektowane rozporządzenie to może, jeśli zostanie zatwierdzone, utrudnić ten wzrost. Przywództwo Facebooka wielokrotnie osłabiało lub wstrzymywało wiele inicjatyw mających na celu usunięcie dezinformacji na platformie, ponieważ osłabiłoby to ten wzrost.

Innymi słowy, praca zespołu Responsible AI – bez względu na jej zalety w odniesieniu do konkretnego problemu przeciwdziałania stronniczości AI – jest zasadniczo nieistotna dla rozwiązywania większych problemów, takich jak dezinformacja, ekstremizm i polaryzacja polityczna. I to my wszyscy płacimy cenę.

Kiedy zajmujesz się maksymalizacją zaangażowania, nie interesuje Cię prawda. Nie interesuje cię krzywda, podziały, spisek. W rzeczywistości są to twoi przyjaciele, mówi Hany Farid, profesor Uniwersytetu Kalifornijskiego w Berkeley, który współpracuje z Facebookiem w celu zrozumienia dezinformacji opartych na obrazach i filmach na platformie.

Zawsze robią tylko tyle, by móc opublikować informację prasową. Ale z kilkoma wyjątkami nie sądzę, żeby faktycznie przekładało się to na lepszą politykę. Nigdy tak naprawdę nie zajmują się podstawowymi problemami.

W marcu 2012 r. Quiñonero odwiedził przyjaciela w Bay Area. W tym czasie był menedżerem w biurze Microsoft Research w Wielkiej Brytanii, kierując zespołem wykorzystującym uczenie maszynowe, aby zachęcić więcej odwiedzających do klikania reklam wyświetlanych przez wyszukiwarkę firmy, Bing. Jego wiedza była rzadka, a zespół miał mniej niż rok. Uczenie maszynowe, podzbiór sztucznej inteligencji, jeszcze nie sprawdziło się jako rozwiązanie problemów przemysłowych na dużą skalę. Niewielu gigantów technologicznych zainwestowało w tę technologię.

Przyjaciel Quiñonero chciał pochwalić się swoim nowym pracodawcą, jednym z najgorętszych startupów w Dolinie Krzemowej: Facebookiem, wtedy ośmioletnim i już blisko miliard aktywnych użytkowników miesięcznie (tj. tych, którzy zalogowali się co najmniej raz w ciągu ostatnich 30 dni). Gdy Quiñonero spacerował po centrali Menlo Park, obserwował, jak samotny inżynier wprowadza poważną aktualizację witryny, co wiązałoby się ze znaczną biurokracją w firmie Microsoft. Było to pamiętne wprowadzenie do Zuckerberga Move fast and łamać etos rzeczy. Quiñonero był zdumiony możliwościami. W ciągu tygodnia przeszedł rozmowy kwalifikacyjne i podpisał ofertę dołączenia do firmy.

Jego przybycie nie mogło być w lepszym momencie. Serwis reklamowy Facebooka był w trakcie gwałtownej ekspansji, ponieważ firma przygotowywała się do majowego debiutu. Celem było zwiększenie przychodów i przejęcie Google, który miał lwią część rynku reklamy internetowej. Uczenie maszynowe, które może przewidzieć, które reklamy będą najlepiej rezonować z jakimi użytkownikami, a tym samym zwiększyć ich skuteczność, może być idealnym narzędziem. Wkrótce po rozpoczęciu, Quiñonero awansował do zarządzania zespołem podobnym do tego, który kierował w Microsoft.

Quiñonero zaczął hodować kurczaki pod koniec 2019 roku, aby odpocząć od intensywności swojej pracy.

WINNI WINTERMEYER

W przeciwieństwie do tradycyjnych algorytmów, które są zakodowane na sztywno przez inżynierów, algorytmy uczenia maszynowego szkolą się na danych wejściowych, aby poznać zawarte w nich korelacje. Wyszkolony algorytm, znany jako model uczenia maszynowego, może następnie zautomatyzować przyszłe decyzje. Algorytm wyszkolony na podstawie danych o kliknięciach reklam może na przykład dowiedzieć się, że kobiety częściej niż mężczyźni klikają reklamy legginsów do jogi. Powstały model będzie wtedy wyświetlać więcej takich reklam kobietom. Dziś w firmie opartej na sztucznej inteligencji, takiej jak Facebook, inżynierowie generują niezliczone modele z niewielkimi różnicami, aby zobaczyć, który z nich najlepiej radzi sobie z danym problemem.

Ogromne ilości danych użytkowników Facebooka dały Quiñonero dużą przewagę. Jego zespół mógłby opracować modele, które nauczyłyby się wnioskować o istnieniu nie tylko szerokich kategorii, takich jak kobiety i mężczyźni, ale także bardzo precyzyjnych kategorii, takich jak kobiety w wieku od 25 do 34 lat, które lubiły strony na Facebooku związane z jogą i kierowały do ​​nich reklamy. Im dokładniejsze kierowanie, tym większa szansa na kliknięcie, co dałoby reklamodawcom większy zwrot z każdej zainwestowanej złotówki.

W ciągu roku jego zespół opracował te modele, a także narzędzia do szybszego projektowania i wdrażania nowych. Wcześniej zbudowanie, przeszkolenie i przetestowanie nowego modelu zajmowało inżynierom Quiñonero od sześciu do ośmiu tygodni. Teraz wystarczyło tylko jedno.

Wiadomość o sukcesie szybko się rozeszła. Zespół, który pracował nad określeniem postów, które poszczególni użytkownicy Facebooka zobaczyliby w swoich osobistych kanałach informacyjnych, chciał zastosować te same techniki. Podobnie jak algorytmy można wytrenować w przewidywaniu, kto kliknie daną reklamę, można je również wytrenować w przewidywaniu, kto chciałby lub udostępnić jaki post, a następnie nadać tym postom większą widoczność. Jeśli model ustali, na przykład, że dana osoba naprawdę lubi psy, posty znajomych o psach pojawiałyby się wyżej w kanale wiadomości tego użytkownika.

Sukces Quiñonero związany z kanałem informacyjnym — w połączeniu z imponującymi nowymi badaniami nad sztuczną inteligencją prowadzonymi poza firmą — przyciągnął uwagę Zuckerberga i Schroepfera. Facebook miał teraz nieco ponad 1 miliard użytkowników, co czyni go ponad ośmiokrotnie większym niż jakakolwiek inna sieć społecznościowa, ale chcieli wiedzieć, jak kontynuować ten wzrost. Kierownictwo zdecydowało się mocno zainwestować w sztuczną inteligencję, łączność internetową i wirtualną rzeczywistość.

Stworzyli dwa zespoły AI. Jednym z nich było FAIR, podstawowe laboratorium badawcze, które rozwinęłoby najnowocześniejsze możliwości technologii. Drugi, Applied Machine Learning (AML), integrowałby te możliwości z produktami i usługami Facebooka. W grudniu 2013 r., po miesiącach zalotów i perswazji, kierownictwo zrekrutowało Yanna LeCuna, jedno z największych nazwisk w branży, do prowadzenia FAIR. Trzy miesiące później Quiñonero ponownie awansował, tym razem na kierownictwo AML. (Później przemianowano go na FAIAR, wymawiane jako ogień.)

W ten sposób wiesz, co ma na myśli. Przez kilka lat zawsze znajdowałem się kilka kroków od biurka Marka.

Joaquin Quinonero Candela

W swojej nowej roli Quiñonero zbudował nową platformę do opracowywania modeli, do której ma dostęp każdy użytkownik Facebooka. Nazywa FBB Przepływ ucznia , umożliwiło to inżynierom z niewielkim doświadczeniem w zakresie sztucznej inteligencji szkolenie i wdrażanie modeli uczenia maszynowego w ciągu kilku dni. Do połowy 2016 r. był używany przez ponad jedną czwartą zespołu inżynierów Facebooka i był już używany do trenowania ponad miliona modeli, w tym modeli rozpoznawania obrazów, kierowania reklam i moderacji treści.

Obsesja Zuckerberga na punkcie skłonienia całego świata do korzystania z Facebooka znalazła nową, potężną broń. Zespoły stosowały wcześniej taktyki projektowe, takie jak eksperymentowanie z treścią i częstotliwością powiadomień, aby spróbować skuteczniej przyciągnąć użytkowników. Ich celem było między innymi zwiększenie wskaźnika o nazwie L6/7, czyli odsetka osób, które logowały się na Facebooku sześć z poprzednich siedmiu dni. L6/7 to tylko jeden z niezliczonych sposobów, w jakie Facebook mierzył zaangażowanie — skłonność ludzi do korzystania z jego platformy w dowolny sposób, czy to poprzez publikowanie rzeczy, komentowanie ich, polubienie ich lub udostępnianie, czy po prostu ich oglądanie. Teraz każda interakcja użytkownika raz przeanalizowana przez inżynierów była analizowana przez algorytmy. Algorytmy te tworzyły znacznie szybsze, bardziej spersonalizowane pętle informacji zwrotnych, które umożliwiały ulepszanie i dostosowywanie kanału informacyjnego każdego użytkownika, aby stale podnosić liczby zaangażowania.

Zuckerberg, który siedział w centrum Building 20, głównego biura w siedzibie Menlo Park, umieścił obok siebie nowe zespoły FAIR i AML. Wielu pierwotnych pracowników sztucznej inteligencji było tak blisko, że jego biurko i ich biurko praktycznie się dotykały. To było wewnętrzne sanktuarium, mówi były lider organizacji AI (oddział Facebooka, w którym znajdują się wszystkie jego zespoły AI), który przypomina sobie, że dyrektor generalny przepychał ludzi do i z jego otoczenia, gdy zyskiwali lub tracili jego przychylność. W ten sposób wiesz, o czym myśli, mówi Quiñonero. Przez kilka lat zawsze znajdowałem się kilka kroków od biurka Marka.

Dzięki nowym modelom uczenia maszynowego codziennie pojawiając się w Internecie, firma stworzyła nowy system do śledzenia ich wpływu i maksymalizacji zaangażowania użytkowników. Proces jest taki sam do dziś. Zespoły szkolą nowy model uczenia maszynowego na FBLearner, czy to w celu zmiany kolejności postów w rankingu, czy też lepszego przechwytywania treści, które naruszają standardy społeczności Facebooka (jego zasady dotyczące tego, co jest, a co nie jest dozwolone na platformie). Następnie testują nowy model na niewielkiej podgrupie użytkowników Facebooka, aby zmierzyć, w jaki sposób zmienia on wskaźniki zaangażowania, takie jak liczba polubień, komentarzy i udostępnień, mówi Krishna Gade, który w latach 2016-2018 pełnił funkcję kierownika ds. inżynierii kanału informacyjnego. .

Jeśli model za bardzo zmniejsza zaangażowanie, jest odrzucany. W przeciwnym razie jest wdrażany i stale monitorowany. Na Twitterze, Gade wyjaśniono że jego inżynierowie będą otrzymywali co kilka dni powiadomienia, gdy wskaźniki, takie jak polubienia lub komentarze, nie będą działać. Następnie rozszyfrowaliby, co spowodowało problem i czy jakieś modele wymagają przeszkolenia.

Ale to podejście wkrótce spowodowało problemy. Modele, które maksymalizują zaangażowanie sprzyjają również kontrowersjom, dezinformacji i ekstremizmowi: mówiąc prościej, ludzie po prostu lubią skandaliczne rzeczy. Czasami rozpala to istniejące napięcia polityczne. Najbardziej niszczycielskim przykładem do tej pory jest sprawa Myanmaru, gdzie wirusowe fałszywe wiadomości i mowa nienawiści na temat muzułmańskiej mniejszości Rohingya eskalowały konflikt religijny w tym kraju do pełnego ludobójstwa. Facebook przyjęty w 2018 r. , po latach bagatelizowania jej roli, że nie zrobił wystarczająco dużo, aby zapobiec wykorzystywaniu naszej platformy do wzniecania podziałów i podżegania do przemocy offline.

Chociaż Facebook mógł być nieświadomy tych konsekwencji na początku, badał je do 2016 roku. W wewnętrznej prezentacji z tego roku, zrecenzowanej przez dziennik Wall Street , badaczka firmy, Monica Lee, odkryła, że ​​Facebook nie tylko gościł dużą liczbę grup ekstremistycznych, ale także promował je wśród swoich użytkowników: 64% wszystkich przyłączeń do grup ekstremistycznych wynika z naszych narzędzi rekomendacyjnych, jak czytamy w prezentacji, głównie dzięki modele stojące za funkcjami Grupy, do których należy dołączyć i odkryć.

Pytanie do przywództwa brzmiało: Czy powinniśmy optymalizować zaangażowanie, jeśli okaże się, że ktoś jest w słabym stanie umysłu?

Były badacz AI, który dołączył w 2018 r.

W 2017 roku Chris Cox, wieloletni dyrektor ds. produktów Facebooka, utworzył nową grupę zadaniową, aby zrozumieć, czy maksymalizacja zaangażowania użytkowników na Facebooku przyczynia się do polaryzacji politycznej. Okazało się, że rzeczywiście istnieje korelacja i że zmniejszenie polaryzacji oznaczałoby trafienie w zaangażowanie. W dokumencie z połowy 2018 r., przejrzanym przez Journal, grupa zadaniowa zaproponowała kilka potencjalnych poprawek, takich jak ulepszenie algorytmów rekomendacji, aby zasugerować bardziej zróżnicowany zakres grup, do których ludzie mogą dołączyć. Ale przyznał, że niektóre pomysły były antywzrostowe. Większość propozycji nie posunęła się do przodu, a zespół zadaniowy został rozwiązany.

Od tego czasu inni pracownicy potwierdzili te ustalenia. Były badacz AI Facebooka, który dołączył do niego w 2018 roku, twierdzi, że wraz ze swoim zespołem przeprowadzał badania po badaniu potwierdzające tę samą podstawową ideę: modele, które maksymalizują zaangażowanie zwiększają polaryzację. Mogli łatwo śledzić, jak mocno użytkownicy zgadzali się lub nie zgadzali w różnych kwestiach, z jakimi treściami lubili się angażować i jak w rezultacie zmieniły się ich stanowiska. Niezależnie od problemu modele nauczyły się karmić użytkowników coraz bardziej ekstremalnymi punktami widzenia. Z biegiem czasu wymiernie stają się bardziej spolaryzowane, mówi.

Zespół badaczy odkrył również, że użytkownicy, którzy mają tendencję do publikowania lub angażowania się w treści melancholijne – co jest możliwą oznaką depresji – mogą z łatwością wpaść w spiralę konsumowania coraz bardziej negatywnych materiałów, co groziło dalszym pogorszeniem ich zdrowia psychicznego. Zespół zaproponował ulepszenie modeli rankingu treści dla tych użytkowników, aby przestali maksymalizować zaangażowanie w pojedynkę, tak aby pokazywano im mniej przygnębiających rzeczy. Pytanie do przywództwa brzmiało: Czy powinniśmy optymalizować zaangażowanie, jeśli okaże się, że ktoś jest w słabym stanie umysłu? on pamięta. (Rzecznik Facebooka powiedział, że nie może znaleźć dokumentacji dla tej propozycji.)

Powiązana historia

Brudna, tajemnicza rzeczywistość stojąca za dążeniem OpenAI do ratowania świata Moonshot AI powstał w duchu przejrzystości. Oto wewnętrzna historia o tym, jak presja konkurencyjna podkopała ten idealizm.

Ale wszystko, co zmniejszało zaangażowanie, nawet z powodów takich jak nie zaostrzanie czyjejś depresji, prowadziło do wielu kłótni i hałaśliwości wśród przywódców. Z ich ocenami wyników i wynagrodzeniami powiązanymi z pomyślnym zakończeniem projektów, pracownicy szybko nauczyli się odrzucać te, które zostały odepchnięte i kontynuować pracę nad tymi podyktowanymi odgórnie.

Jeden z takich projektów mocno forsowany przez liderów firmy polegał na przewidywaniu, czy użytkownik może być zagrożony przez coś, co zrobiło już kilka osób: transmisję na żywo własnego samobójstwa na Facebook Live. Zadanie polegało na zbudowaniu modelu analizować komentarze że inni użytkownicy publikowali w filmie po jego opublikowaniu i zwracali uwagę zagrożonych użytkowników na przeszkolonych recenzentów społeczności Facebooka, którzy mogli zadzwonić do lokalnych służb ratowniczych, aby przeprowadzić kontrolę stanu zdrowia. Nie wymagał żadnych zmian w modelach rankingu treści, miał znikomy wpływ na zaangażowanie i skutecznie odpierał negatywną prasę. Było to również prawie niemożliwe, mówi badacz: To bardziej wyczyn PR. Skuteczność próby ustalenia, czy ktoś zabije się w ciągu najbliższych 30 sekund, na podstawie pierwszych 10 sekund analizy wideo — nie będziesz zbyt skuteczny.

Facebook kwestionuje tę charakterystykę, mówiąc, że zespół, który pracował nad tym wysiłkiem, od tego czasu z powodzeniem przewidział, którzy użytkownicy są zagrożeni i zwiększył liczbę przeprowadzonych kontroli stanu zdrowia. Ale firma nie publikuje danych na temat dokładności swoich przewidywań ani liczby kontroli stanu zdrowia, które okazały się prawdziwymi nagłymi wypadkami.

Tymczasem były pracownik nie pozwala już swojej córce korzystać z Facebooka.

Quinonero powinien był być był doskonale przygotowany do rozwiązania tych problemów, kiedy w kwietniu 2018 roku stworzył zespół SAIL (później Responsible AI) i inne treści dla użytkowników.

Wydawało się również, że Facebook jest gotowy do poważnego potraktowania tych problemów. Podczas gdy poprzednie wysiłki, aby nad nimi pracować, były rozproszone po całej firmie, Quiñonero otrzymał teraz scentralizowany zespół, który miał swobodę w pracy nad wszystkim, co uważał za stosowne na przecięciu sztucznej inteligencji i społeczeństwa.

W tym czasie Quiñonero angażował się we własną reedukację na temat tego, jak być odpowiedzialnym technologiem. Obszar badań nad sztuczną inteligencją zwracał coraz większą uwagę na problemy związane z uprzedzeniem i odpowiedzialnością za sztuczną inteligencję w następstwie głośnych badań pokazujących, że na przykład algorytm oceniał czarnych oskarżonych jako bardziej prawdopodobne, że zostanie ponownie aresztowany niż białych oskarżonych, którzy zostali aresztowani za to samo lub poważniejsze przestępstwo. Quiñonero zaczął studiować literaturę naukową na temat sprawiedliwości algorytmicznej, czytając książki o inżynierii etycznej i historii technologii oraz rozmawiając z ekspertami od praw obywatelskich i filozofami moralności.

WINNI WINTERMEYER

Po wielu godzinach spędzonych z nim mogłem powiedzieć, że traktował to poważnie. Dołączył do Facebooka podczas Arabskiej Wiosny, serii rewolucji przeciwko uciskającym reżimom Bliskiego Wschodu. Eksperci chwalili media społecznościowe za rozpowszechnianie informacji, które podsycały powstania i dostarczanie ludziom narzędzi do organizowania się. Urodzony w Hiszpanii, ale wychowany w Maroku, gdzie osobiście widział tłumienie wolności słowa, Quiñonero poczuł silny związek z potencjałem Facebooka jako siły na rzecz dobra.

Sześć lat później Cambridge Analytica zagroziło unieważnieniem tej obietnicy. Kontrowersje zmusiły go do skonfrontowania się z wiarą w firmę i zastanowienia się, co oznaczałoby pozostanie dla jego uczciwości. Myślę, że to, co dzieje się z większością ludzi, którzy pracują na Facebooku – i zdecydowanie taka była moja historia – to fakt, że nie ma granicy między Facebookiem a mną – mówi. To bardzo osobiste. Postanowił jednak zostać i stanąć na czele SAIL, ponieważ wierzył, że może zrobić więcej dla świata, pomagając zmienić firmę, niż zostawiając ją w tyle.

Myślę, że jeśli jesteś w firmie takiej jak Facebook, zwłaszcza w ciągu ostatnich kilku lat, naprawdę zdajesz sobie sprawę z wpływu, jaki Twoje produkty mają na życie ludzi — na to, co myślą, jak się komunikują, jak wchodzą ze sobą w interakcje, mówi Quiñonero. wieloletni przyjaciel Zoubin Ghahramani, który pomaga kierować zespołem Google Brain. Wiem, że Joaquinowi bardzo zależy na wszystkich aspektach tego. Jako ktoś, kto stara się osiągać lepsze i ulepszać rzeczy, widzi ważną rolę, jaką może odgrywać w kształtowaniu zarówno myślenia, jak i polityki wokół odpowiedzialnej sztucznej inteligencji.

Początkowo SAIL miał tylko pięć osób, które pochodziły z różnych części firmy, ale wszystkie były zainteresowane wpływem algorytmów na społeczeństwo. Jedna z założycielek, Isabel Kloumann, naukowiec, która wywodziła się z głównego zespołu analitycznego firmy, przyniosła ze sobą początkową wersję narzędzia do pomiaru stronniczości w modelach sztucznej inteligencji.

Zespół przeprowadził również burzę mózgów wielu innych pomysłów na projekty. Były lider w organizacji AI, który był obecny na niektórych wczesnych spotkaniach SAIL, przywołuje jedną propozycję walki z polaryzacją. Wiązało się to z wykorzystaniem analizy sentymentu, formy uczenia maszynowego, która interpretuje opinie w kawałkach tekstu, aby lepiej identyfikować komentarze, które wyrażały skrajne punkty widzenia. Komentarze te nie zostałyby usunięte, ale byłyby domyślnie ukryte z opcją ich ujawnienia, co ograniczyłoby liczbę osób, które je widziały.

Odbyły się też dyskusje na temat roli, jaką SAIL może odegrać na Facebooku i jak powinien ewoluować z biegiem czasu. Panowało przekonanie, że zespół najpierw opracuje wytyczne dotyczące odpowiedzialnej sztucznej inteligencji, aby powiedzieć zespołom produktowym, co powinni, a czego nie powinni robić. Ale była nadzieja, że ​​ostatecznie posłuży jako centralny ośrodek firmy do oceny projektów AI i powstrzymywania tych, które nie przestrzegają wytycznych.

Byli pracownicy opisali jednak, jak trudne może być uzyskanie poparcia lub wsparcia finansowego, gdy praca nie wpłynęła bezpośrednio na rozwój Facebooka. Ze swej natury zespół był nie myślenie o wzroście, aw niektórych przypadkach proponowało idee przeciwstawne wzrostowi. W rezultacie otrzymywał niewiele środków i marniał. Wiele z jego pomysłów pozostało w dużej mierze akademickich.

29 sierpnia 2018 r. to nagle się zmieniło. Podczas przygotowań do wyborów śródokresowych w USA prezydent Donald Trump i inni przywódcy republikańscy zaostrzone oskarżenia że Facebook, Twitter i Google mają antykonserwatywne uprzedzenia. Twierdzili, że w szczególności moderatorzy Facebooka, stosując standardy społeczności, tłumili głosy konserwatywne bardziej niż liberalne. Ta opłata będzie później zostać zdemaskowanym , ale hashtag #StopTheBias , napędzany tweetem Trumpa, szybko rozprzestrzeniał się w mediach społecznościowych.

Dla Trumpa była to ostatnia próba zasiania nieufności w głównych kanałach dystrybucji informacji w kraju. Dla Zuckerberga groziło to zrazieniem konserwatywnych użytkowników Facebooka w USA i uczynieniem firmy bardziej podatną na regulacje ze strony rządu kierowanego przez Republikanów. Innymi słowy, zagrażało to rozwojowi firmy.

Facebook nie udzielił mi wywiadu z Zuckerbergiem, ale Poprzedni raportowanie ma pokazane jak coraz bardziej uległ Trumpowi i republikańskiemu przywództwu. Po wyborze Trumpa Joel Kaplan, wiceprezes Facebooka ds. globalnej polityki publicznej i najwyższy rangą republikanin, poradził Zuckerbergowi, aby ostrożnie wkroczył w nowe środowisko polityczne.

20 września 2018 roku, trzy tygodnie po tweecie Trumpa #StopTheBias, Zuckerberg spotkał się z Quiñonero po raz pierwszy od powstania SAIL. Chciał wiedzieć wszystko, czego Quiñonero dowiedział się o uprzedzeniach AI i jak je wyeliminować w modelach moderacji treści Facebooka. Pod koniec spotkania jedno było jasne: stronniczość AI była teraz najwyższym priorytetem Quiñonero. Kierownictwo było bardzo, bardzo nachalne, aby upewnić się, że skalujemy to agresywnie, mówi Rachad Alao, dyrektor ds. Inżynierii Responsible AI, który dołączył w kwietniu 2019 roku.

To była wygrana dla wszystkich na sali. Zuckerberg znalazł sposób na odparcie zarzutów o antykonserwatywne uprzedzenia. A Quiñonero miał teraz więcej pieniędzy i większy zespół, aby poprawić ogólne wrażenia z korzystania z Facebooka dla użytkowników. Mogliby opierać się na istniejącym narzędziu Kloumanna, aby mierzyć i korygować rzekome antykonserwatywne uprzedzenia w modelach moderacji treści, a także korygować inne rodzaje uprzedzeń w ogromnej większości modeli na platformie.

Pomoże to zapobiec niezamierzonej dyskryminacji przez platformę niektórych użytkowników. Do tego czasu Facebook miał już tysiące modeli działających jednocześnie i prawie żaden nie został zmierzony pod kątem stronniczości. Kilka miesięcy później wpadłoby to w kłopoty prawne z amerykańskim Departamentem Mieszkalnictwa i Rozwoju Miast (HUD), który twierdził, że algorytmy firmy wywnioskowały chronione atrybuty, takie jak rasa, z danych użytkowników i wyświetlały im reklamy mieszkań na podstawie tych atrybutów. —nielegalna forma dyskryminacji. (Pozew jest nadal w toku.) Schroepfer przewidział również, że Kongres wkrótce uchwali prawa regulować dyskryminację algorytmiczną , więc Facebook i tak musiał poczynić postępy w tych wysiłkach.

(Facebook kwestionuje pogląd, że kontynuował prace nad uprzedzeniami AI w celu ochrony wzrostu lub w oczekiwaniu na regulacje. Zbudowaliśmy zespół odpowiedzialnej sztucznej inteligencji, ponieważ było to właściwe, powiedział rzecznik).

Jednak zawężenie uwagi SAIL do algorytmicznej uczciwości odsunęłoby na bok wszystkie inne długotrwałe problemy algorytmiczne Facebooka. Jej modele rekomendacji treści będą nadal przekazywać użytkownikom posty, wiadomości i grupy w celu maksymalizacji zaangażowania, nagradzania ekstremistycznych treści i przyczyniania się do coraz bardziej podzielonego dyskursu politycznego.

Zuckerberg nawet to przyznał. Dwa miesiące po spotkaniu z Quiñonero, in notatka publiczna nakreślając plany Facebooka dotyczące moderacji treści, zilustrował szkodliwe skutki strategii zaangażowania firmy uproszczonym wykresem. Okazało się, że im bardziej prawdopodobne jest, że post narusza standardy społeczności Facebooka, tym większe zaangażowanie użytkowników, ponieważ algorytmy, które maksymalizują zaangażowanie, nagradzają podburzające treści.

FACEBOOK

Ale potem pokazał inny wykres z odwrotną zależnością. Zamiast nagradzać treści, które zbliżyły się do naruszenia standardów społeczności, napisał Zuckerberg, Facebook mógłby zacząć nakładać na nie kary, dając im mniej dystrybucji i zaangażowania, a nie więcej. Jak miałoby to zostać zrobione? Z większą sztuczną inteligencją. Powiedział, że Facebook opracowałby lepsze modele moderacji treści, aby wykrywać tę graniczną treść, aby mogła być z mocą wsteczną zepchnięta niżej w kanale informacyjnym, aby zgasić jego wirusowość.

FACEBOOK

Problem polega na tym, że przy wszystkich obietnicach Zuckerberga ta strategia jest w najlepszym razie wątła.

Dezinformacja i mowa nienawiści nieustannie ewoluują. Pojawiają się nowe kłamstwa; celami stają się nowi ludzie i grupy. Aby wyłapywać rzeczy, zanim staną się wirusowe, modele moderowania treści muszą być w stanie identyfikować nowe niechciane treści z dużą dokładnością. Ale modele uczenia maszynowego nie działają w ten sposób. Algorytm, który nauczył się rozpoznawać negację Holokaustu, nie może od razu wykryć, powiedzmy, negacji ludobójstwa Rohingya. Musi być wyszkolony na tysiącach, często nawet milionach przykładów nowego rodzaju treści, zanim nauczy się go odfiltrowywać. Nawet wtedy użytkownicy mogą szybko nauczyć się przechytrzyć model, robiąc takie rzeczy, jak zmiana sformułowania posta lub zastępowanie fraz podżegających eufemizmami, dzięki czemu ich wiadomość jest nieczytelna dla sztucznej inteligencji, a jednocześnie jest oczywista dla człowieka. To dlatego nowe teorie spiskowe mogą szybko wymknąć się spod kontroli, a częściowo dlatego, nawet po zakazaniu takich treści, ich formy Móc trwać na platformie.

W swoim profilu w New York Times Schroepfer nazwał te ograniczenia strategii moderacji treści firmy. Za każdym razem pan Schroepfer i jego ponad 150 inżynierów tworzą sztuczną inteligencję. rozwiązania, które oznaczają i tłumią szkodliwe materiały, nowe i wątpliwe posty, które A.I. systemy nigdy wcześniej nie wyskakiwały — i dlatego nie zostały złapane, napisał Times. To nigdy nie spadnie do zera, powiedział Schroepfer w publikacji.

Tymczasem algorytmy polecające te treści nadal działają w celu maksymalizacji zaangażowania. Oznacza to, że każdy toksyczny post, który wymyka się filtrom moderowania treści, będzie nadal wypychany wyżej w kanale wiadomości i promowany, aby dotrzeć do większej liczby odbiorców. Rzeczywiście, studia na Uniwersytecie Nowojorskim niedawno odkryli, że wśród stron partyzanckich wydawców na Facebooku, ci, którzy regularnie zamieszczali dezinformacje polityczne, byli najbardziej zaangażowani w przygotowania do wyborów prezydenckich w USA w 2020 r. i zamieszek na Kapitolu. To po prostu mnie dopadło, mówi były pracownik, który pracował nad kwestiami uczciwości w latach 2018-2019. W pełni to uznaliśmy, a jednak wciąż zwiększamy zaangażowanie.

Ale zespół SAIL Quiñonero nie pracował nad tym problemem. Z powodu obaw Kaplana i Zuckerberga o alienację konserwatystów zespół skupił się na uprzedzeniach. A nawet po połączeniu się z większym zespołem Responsible AI, nigdy nie został upoważniony do pracy nad systemami rekomendacji treści, które mogą ograniczać rozprzestrzenianie się dezinformacji. Nie ma też żadnego innego zespołu, co potwierdziłem po tym, jak Entin i inny rzecznik przekazali mi pełną listę wszystkich innych inicjatyw Facebooka dotyczących kwestii uczciwości – ogólnego terminu firmy na problemy, w tym dezinformację, mowę nienawiści i polaryzację.

Powiązana historia

Zacząłem płakać: Informacje o ostatnich dniach Timnit Gebru w Google – i co dalej .

Rzecznik Facebooka powiedział: Praca nie jest wykonywana przez jeden konkretny zespół, ponieważ nie tak działa firma. Powiedziała, że ​​jest on zamiast tego rozdzielany między zespoły, które mają konkretną wiedzę specjalistyczną, aby poradzić sobie z tym, jak ranking treści wpływa na dezinformację w ich części platformy. Ale Schroepfer powiedział mi dokładnie odwrotnie we wcześniejszym wywiadzie. Zapytałem go, dlaczego stworzył scentralizowany zespół odpowiedzialnej sztucznej inteligencji zamiast kierować istniejącymi zespołami, aby robiły postępy w tej sprawie. Powiedział, że to najlepsza praktyka w firmie.

[Jeżeli] jest to ważny obszar, musimy działać szybko, nie jest dobrze zdefiniowany, [tworzymy] dedykowany zespół i zdobywamy odpowiednie kierownictwo – powiedział. W miarę rozwoju i dojrzewania obszaru zobaczysz, że zespoły produktowe podejmują więcej pracy, ale zespół centralny jest nadal potrzebny, ponieważ musisz być na bieżąco z najnowszymi osiągnięciami.

Kiedy opisywałem pracę zespołu Responsible AI innym ekspertom zajmującym się etyką AI i prawami człowieka, zauważyli niezgodność między problemami, z którymi się borykał, a takimi, jak dezinformacja, z których Facebook jest najbardziej znany. Wydaje się to być tak dziwnie usunięte z Facebooka jako produktu - rzeczy, które tworzy Facebook i pytań o wpływ na świat, z jakim boryka się Facebook, powiedział Rumman Chowdhury, którego startup, Parytet , doradza firmom w zakresie odpowiedzialnego korzystania z AI i została przejęta przez Twittera po naszym wywiadzie. Pokazałem Chowdhury'emu dokumentację zespołu Quiñonero, szczegółowo opisującą jego pracę. Uważam, że to zaskakujące, że będziemy rozmawiać o integracji, sprawiedliwości, równości, a nie o bardzo realnych problemach, które mają miejsce dzisiaj – powiedziała.

Wygląda na to, że ramka „odpowiedzialna sztuczna inteligencja” jest całkowicie subiektywna w stosunku do tego, na czym firma zdecyduje, że chce jej zależeć. To tak: „Wymyślimy warunki, a potem będziemy ich przestrzegać”, mówi Ellery Roberts Biddle, dyrektor redakcyjny Ranking Digital Rights, organizacji non-profit, która bada wpływ firm technologicznych na prawa człowieka. Nawet nie rozumiem, co mają na myśli, gdy mówią o sprawiedliwości. Czy uważają, że uczciwe jest polecanie ludziom dołączania do grup ekstremistycznych, takich jak te, które szturmowały Kapitol? Jeśli wszyscy otrzymają rekomendację, czy to oznacza, że ​​było to sprawiedliwe?

Jesteśmy w miejscu, w którym doszło do jednego ludobójstwa [Myanmar], które ONZ, z wieloma dowodami, była w stanie wskazać konkretnie Facebooka i sposób, w jaki platforma promuje treści, dodaje Biddle. O ile wyższe mogą być stawki?

W ciągu ostatnich dwóch lat Zespół Quiñonero stworzył oryginalne narzędzie Kloumanna o nazwie Fairness Flow. Pozwala inżynierom mierzyć dokładność modeli uczenia maszynowego dla różnych grup użytkowników. Mogą porównywać dokładność modelu wykrywania twarzy w różnych grupach wiekowych, płci i odcieniach skóry lub dokładność algorytmu rozpoznawania mowy w różnych językach, dialektach i akcentach.

Fairness Flow zawiera również zestaw wytycznych, które pomogą inżynierom zrozumieć, co to znaczy trenować uczciwy model. Jednym z bardziej drażliwych problemów z usprawiedliwianiem algorytmów jest to, że: różne definicje uczciwości , które mogą być wzajemnie niezgodne. Fairness Flow wymienia cztery definicje, które inżynierowie mogą stosować, zgodnie z ich przeznaczeniem, na przykład czy model rozpoznawania mowy rozpoznaje wszystkie akcenty z równą dokładnością lub z minimalnym progiem dokładności.

Jednak testowanie algorytmów pod kątem uczciwości jest nadal w dużej mierze opcjonalne na Facebooku. Żaden z zespołów, które pracują bezpośrednio nad kanałem informacyjnym Facebooka, usługą reklamową lub innymi produktami, nie jest do tego zobowiązany. Zachęty płacowe są nadal powiązane z wskaźnikami zaangażowania i wzrostu. I chociaż istnieją wytyczne dotyczące tego, której definicji uczciwości należy użyć w danej sytuacji, nie są one wymuszane.

Ten ostatni problem wysunął się na pierwszy plan, gdy firma musiała uporać się z zarzutami o antykonserwatywne uprzedzenia.

W 2014 roku Kaplan awansował z szefa polityki USA na globalnego wiceprezesa ds. polityki, a on… zaczął odgrywać bardziej ciężką rolę w moderacji treści i decyzjach o tym, jak pozycjonować posty w kanałach informacyjnych użytkowników. Po tym, jak w 2016 r. Republikanie zaczęli wygłaszać twierdzenia o antykonserwatywnych uprzedzeniach, jego zespół zaczął ręcznie sprawdzać wpływ modeli wykrywania dezinformacji na użytkowników, aby upewnić się – między innymi – że nie karzą nieproporcjonalnie konserwatystów.

Wszyscy użytkownicy Facebooka mają do swojego profilu około 200 cech. Obejmują one różne wymiary przesłane przez użytkowników lub oszacowane przez modele uczenia maszynowego, takie jak rasa, skłonności polityczne i religijne, klasa społeczno-ekonomiczna i poziom wykształcenia. Zespół Kaplana zaczął wykorzystywać te cechy do tworzenia niestandardowych segmentów użytkowników, które odzwierciedlały w dużej mierze konserwatywne zainteresowania: na przykład użytkownicy, którzy angażowali się w konserwatywne treści, grupy i strony. Następnie przeprowadzali specjalne analizy, aby zobaczyć, jak decyzje dotyczące moderacji treści wpłyną na posty z tych segmentów, według byłego badacza, którego praca była przedmiotem tych recenzji.

Dokumentacja Fairness Flow, którą zespół Responsible AI napisał później, zawiera studium przypadku, jak wykorzystać narzędzie w takiej sytuacji. Zespół napisał, że przy podejmowaniu decyzji, czy model dezinformacji jest sprawiedliwy w odniesieniu do ideologii politycznej, uczciwość tak nie Oznacza to, że model powinien w równym stopniu wpływać na konserwatywnych i liberalnych użytkowników. Jeśli konserwatyści publikują większą część dezinformacji, jak oceniano na podstawie publicznego konsensusu, model powinien oznaczać większą część konserwatywnych treści. Jeśli liberałowie publikują więcej dezinformacji, powinno to również częściej oznaczać ich treści.

Ale członkowie zespołu Kaplana przyjęli dokładnie odwrotne podejście: uznali, że uczciwość oznacza, że ​​te modele nie powinny mieć większego wpływu na konserwatystów niż na liberałów. Kiedy model to zrobi, zatrzymają jego wdrażanie i zażądają zmiany. Kiedyś zablokowali wykrywacz dezinformacji medycznej, który wyraźnie ograniczył zasięg kampanii antyszczepionkowych, powiedział mi były badacz. Powiedzieli naukowcom, że model nie może zostać wdrożony, dopóki zespół nie naprawi tej rozbieżności. Ale to skutecznie sprawiło, że model stracił sens. Nie ma więc sensu, mówi badacz. Zmodyfikowany w ten sposób model nie miałby dosłownie żadnego wpływu na rzeczywisty problem dezinformacji.

Nawet nie rozumiem, co mają na myśli, gdy mówią o sprawiedliwości. Czy uważają, że uczciwe jest polecanie ludziom dołączania do grup ekstremistycznych, takich jak te, które szturmowały Kapitol? Jeśli wszyscy otrzymają rekomendację, czy to oznacza, że ​​było to sprawiedliwe?

Ellery Roberts Biddle, dyrektor redakcji Ranking Digital Rights

Zdarzyło się to niezliczoną ilość razy — i to nie tylko w celu moderacji treści. W 2020 roku Washington Post poinformował, że zespół Kaplana podkopał wysiłki na rzecz złagodzenia ingerencji wyborczej i polaryzacji na Facebooku, mówiąc, że może przyczynić się do antykonserwatywnego uprzedzenia. W 2018 r. użył tego samego argumentu, aby odłożyć projekt edycji modeli rekomendacji Facebooka, mimo że badacze wierzyli, że zmniejszy to podziały na platformie, zgodnie z dziennik Wall Street . Jego twierdzenia o uprzedzeniach politycznych osłabiły również propozycję edycji modeli rankingowych dla kanału informacyjnego, który według analityków danych Facebooka wzmocni platformę przeciwko taktyce manipulacji, którą Rosja zastosowała podczas wyborów w USA w 2016 roku.

A przed wyborami w 2020 r. kierownictwo Facebooka wykorzystało tę wymówkę, według New York Times , aby zawetować lub osłabić kilka propozycji, które ograniczyłyby rozpowszechnianie nienawistnych i szkodliwych treści.

Facebook zakwestionował raport Wall Street Journal w kolejny blog post i zakwestionował charakterystykę New York Timesa w wywiadzie dla publikacji. Rzecznik zespołu Kaplana również zaprzeczył mi, że był to wzorzec zachowania, mówiąc, że przypadki zgłoszone przez Post, Journal i Times były indywidualnymi przypadkami, które naszym zdaniem są następnie błędnie scharakteryzowane. Odmówił komentarza na temat przekwalifikowania modeli dezinformacji na płycie.

Wiele z tych incydentów miało miejsce przed przyjęciem Fairness Flow. Ale pokazują, jak dążenie Facebooka do uczciwości w służbie wzrostu już wiązało się z wysokimi kosztami postępu w innych wyzwaniach platformy. A gdyby inżynierowie użyli definicji uczciwości przyjętej przez zespół Kaplana, Fairness Flow może po prostu usystematyzować zachowanie, które nagradza dezinformację, zamiast pomagać w jej zwalczaniu.

Często cała sprawa uczciwości wchodziła w grę tylko jako wygodny sposób na utrzymanie status quo, mówi były badacz: Wydaje się, że jest to sprzeczne z rzeczami, które Mark mówił publicznie w kategoriach bycia uczciwym i słusznym.

Ostatni raz rozmawiałem z Quiñonero było miesiąc po zamieszkach na Kapitolu. Chciałem wiedzieć, jak szturm na Kongres wpłynął na jego myślenie i kierunek jego pracy.

Podczas rozmowy wideo było tak, jak zawsze: w jednym oknie dzwonił Quiñonero ze swojego domowego biura, a w drugim Entin, jego opiekun PR. Zapytałem Quiñonero, jaką rolę w jego odczuciu odegrał Facebook w zamieszkach i czy zmienił to zadanie, które widział dla Responsible AI. Po długiej przerwie ominął pytanie, przechodząc do opisu niedawnej pracy, którą wykonał, aby promować większą różnorodność i integrację wśród zespołów AI.

Ponownie zadałem mu pytanie. Jego kamera portalu Facebook, która wykorzystuje algorytmy komputerowej wizji do śledzenia mówcy, zaczęła powoli powiększać jego twarz, gdy rósł. – Nie wiem, czy mam łatwą odpowiedź na to pytanie, Karen – powiedział. To niezwykle trudne pytanie.

Entin, który szybko krążył po pokoju ze stoicką miną pokerzysty, chwycił czerwoną piłkę stresu.

Zapytałem Quiñonero, dlaczego jego zespół nie szukał wcześniej sposobów edytowania modeli rankingu treści Facebooka, aby złagodzić dezinformację i ekstremizm. Powiedział mi, że to zadanie innych zespołów (chociaż żaden, jak potwierdziłem, nie został upoważniony do pracy nad tym zadaniem). Powiedział, że zespół odpowiedzialnej sztucznej inteligencji nie jest w stanie samodzielnie badać tych wszystkich rzeczy. Kiedy zapytałem, czy rozważyłby, aby jego zespół zajął się tymi sprawami w przyszłości, niejasno przyznał, że zgodziłbym się z Państwem, że taki będzie zakres tego typu rozmów.

Pod koniec naszego godzinnego wywiadu zaczął podkreślać, że AI była często niesprawiedliwie przedstawiana jako sprawca. Powiedział, że niezależnie od tego, czy Facebook korzystał ze sztucznej inteligencji, czy nie, ludzie nadal wyrzucaliby kłamstwa i mowę nienawiści, a treści nadal rozprzestrzeniałyby się po platformie.

Nacisnąłem go jeszcze raz. Z pewnością nie mógł uwierzyć, że algorytmy nie zrobiły absolutnie nic, aby zmienić naturę tych problemów – powiedziałem.

Nie wiem, powiedział z urywanym jąkaniem. Potem powtórzył z większym przekonaniem: To moja szczera odpowiedź. Szczery wobec Boga. Nie wiem.

Poprawki: Zmieniliśmy wers, który sugerował, że Joel Kaplan, wiceprezes Facebooka ds. polityki globalnej, korzystał z Fairness Flow. On nie ma. Jednak członkowie jego zespołu wykorzystali pojęcie uczciwości, aby zażądać ponownego szkolenia modeli dezinformacji w sposób, który jest bezpośrednio sprzeczny z wytycznymi Responsible AI. Wyjaśniliśmy również, kiedy Rachad Alao, dyrektor ds. Inżynierii Responsible AI , dołączył do firmy.