211service.com
Informator Facebooka twierdzi, że jego algorytmy są niebezpieczne. Dlatego.
Informator z Facebooka, Frances Haugen, zeznaje podczas komisji senackiej 5 października. Drew Angerer/Getty Images
W niedzielę wieczorem głównym źródłem informacji Pliki na Facebooku Wall Street Journal , serial śledczy oparty na wewnętrznych dokumentach Facebooka, ujawnił swoją tożsamość w odcinku 60 minut .
Frances Haugen, była kierownik produktu w firmie, mówi, że zgłosiła się po tym, jak widziała, jak przywódcy Facebooka wielokrotnie przedkładali zysk nad bezpieczeństwo.
Przed zrezygnowaniem z pracy w maju tego roku przeczesała Facebook Workplace, wewnętrzną sieć społecznościową dla pracowników firmy, i zebrała szeroką gamę wewnętrznych raportów i badań, próbując jednoznacznie wykazać, że Facebook świadomie zdecydował się nie naprawiać problemów na swoim Platforma.
Dziś zeznawała przed Senatem na temat wpływu Facebooka na społeczeństwo. Powtórzyła wiele ustaleń z wewnętrznych badań i błagała Kongres o podjęcie działań.
Powiązana historia
Jak Facebook uzależnił się od rozpowszechniania dezinformacji Algorytmy sztucznej inteligencji firmy dały jej nienasycony nawyk kłamstw i mowy nienawiści. Teraz człowiek, który je zbudował, nie może rozwiązać problemu.
Jestem tu dzisiaj, ponieważ uważam, że produkty Facebooka szkodzą dzieciom, podziałom palącym i osłabiają naszą demokrację – powiedziała w swoim wystąpieniu otwierającym prawodawcom. Te problemy można rozwiązać. Możliwe są bezpieczniejsze, szanujące wolność słowa, przyjemniejsze media społecznościowe. Ale jest jedna rzecz, którą mam nadzieję, że wszyscy wyniosą z tych ujawnień, jest to, że Facebook może się zmienić, ale najwyraźniej nie zrobi tego sam.
Podczas swojego zeznania Haugen w szczególności obwinia algorytm Facebooka i decyzje dotyczące projektowania platformy za wiele jego problemów. Jest to zauważalna zmiana w stosunku do dotychczasowego zainteresowania decydentów polityką treści i cenzurą Facebooka – co należy do Facebooka, a co nie. Wielu ekspertów uważa, że ten wąski pogląd prowadzi do strategii „walnięcie w kreta”, która pomija szerszy obraz.
Jestem zdecydowanym zwolennikiem rozwiązań nieopartych na treści, ponieważ te rozwiązania będą chronić najbardziej wrażliwe osoby na świecie, powiedział Haugen, wskazując na nierówną zdolność Facebooka do egzekwowania swojej polityki treści w językach innych niż angielski.
Świadectwo Haugen odzwierciedla wiele ustaleń z: dochodzenie dotyczące przeglądu technologii MIT opublikowany na początku tego roku, który opierał się na dziesiątkach wywiadów z kierownictwem Facebooka, obecnymi i byłymi pracownikami, rówieśnikami z branży oraz ekspertami zewnętrznymi. Zebraliśmy najistotniejsze części naszego śledztwa i innych raportów, aby nadać więcej kontekstu zeznaniom Haugena.
Jak działa algorytm Facebooka?
Potocznie używamy terminu algorytm Facebooka tak, jakby był tylko jeden. W rzeczywistości Facebook decyduje o tym, jak kierować reklamy i pozycjonować treści na podstawie setek, a może nawet tysięcy algorytmów. Niektóre z tych algorytmów drażnią preferencje użytkownika i zwiększają ten rodzaj treści w kanale informacyjnym użytkownika. Inne służą do wykrywania określonych rodzajów złych treści, takich jak nagość, spam lub nagłówki typu „clickbait”, oraz usuwania ich lub przesuwania w dół kanału.
Wszystkie te algorytmy są znane jako algorytmy uczenia maszynowego. jak ja napisał wcześniej w tym roku :
W przeciwieństwie do tradycyjnych algorytmów, które są zakodowane na sztywno przez inżynierów, algorytmy uczenia maszynowego szkolą się na danych wejściowych, aby poznać zawarte w nich korelacje. Wyszkolony algorytm, znany jako model uczenia maszynowego, może następnie zautomatyzować przyszłe decyzje. Algorytm wyszkolony na podstawie danych o kliknięciach reklam może na przykład dowiedzieć się, że kobiety częściej niż mężczyźni klikają reklamy legginsów do jogi. Powstały model będzie wtedy wyświetlać więcej takich reklam kobietom.
A ze względu na ogromne ilości danych użytkowników Facebooka, może
opracować modele, które nauczyły się wnioskować o istnieniu nie tylko szerokich kategorii, takich jak kobiety i mężczyźni, ale także bardzo precyzyjnych kategorii, takich jak kobiety w wieku od 25 do 34 lat, które lubiły strony na Facebooku związane z jogą, i [docelowe] reklamy do nich. Im dokładniejsze kierowanie, tym większa szansa na kliknięcie, co dałoby reklamodawcom większy zwrot z każdej zainwestowanej złotówki.
Te same zasady dotyczą rankingu treści w aktualnościach:
Tak jak algorytmy [mogą] być wytrenowane w przewidywaniu, kto kliknie daną reklamę, [mogą] zostać wytrenowane w przewidywaniu, kto chciałby lub udostępnić jaki post, a następnie nadać tym postom większą widoczność. Jeśli model ustali, na przykład, że dana osoba naprawdę lubi psy, posty znajomych o psach pojawiałyby się wyżej w kanale wiadomości tego użytkownika.
Zanim Facebook zaczął używać algorytmów uczenia maszynowego, zespoły stosowały taktyki projektowe, aby zwiększyć zaangażowanie. Eksperymentowali z takimi rzeczami, jak kolor przycisku lub częstotliwość powiadomień, aby użytkownicy wracali na platformę. Ale algorytmy uczenia maszynowego tworzą znacznie potężniejszą pętlę sprzężenia zwrotnego. Nie tylko mogą spersonalizować to, co widzi każdy użytkownik, ale także będą ewoluować wraz ze zmieniającymi się preferencjami użytkownika, nieustannie pokazując każdej osobie, co będzie ich najbardziej angażować.
Kto zarządza algorytmem Facebooka?
W Facebooku nie ma jednego zespołu odpowiedzialnego za cały ten system rankingu treści. Inżynierowie opracowują i dodają do miksu własne modele uczenia maszynowego w oparciu o cele swojego zespołu. Na przykład zespoły zajmujące się usuwaniem lub degradowaniem złych treści, znane jako zespoły ds. integralności, będą szkolić tylko modele wykrywania różnych rodzajów złych treści.
To była decyzja, którą Facebook podjął na początku w ramach swojego szybkiego ruchu i łamania kultury. Opracowała wewnętrzne narzędzie znane jako FBB Przepływ ucznia to ułatwiło inżynierom bez doświadczenia w uczeniu maszynowym opracowywanie dowolnych modeli, które mieli do swojej dyspozycji. Według jednego punktu danych był już używany przez ponad jedną czwartą zespołu inżynierów Facebooka w 2016 roku.
Powiązana historia
Zaryzykowała wszystko, żeby zdemaskować Facebooka. Teraz opowiada swoją historię. Sophie Zhang, była badaczka danych z Facebooka, ujawniła, że umożliwia to globalną manipulację polityczną i niewiele zrobiła, aby to powstrzymać.
Wielu obecnych i byłych pracowników Facebooka, z którymi rozmawiałem, mówi, że jest to jeden z powodów, dla których Facebook nie może sobie poradzić z tym, co podaje użytkownikom w wiadomościach. Różne zespoły mogą mieć konkurujące ze sobą cele, a system stał się tak złożony i nieporęczny, że nikt nie może już śledzić wszystkich jego różnych elementów.
W rezultacie głównym procesem firmy w zakresie kontroli jakości są eksperymenty i pomiary. Tak jak napisałem:
Zespoły szkolą nowy model uczenia maszynowego na FBLearner, czy to w celu zmiany kolejności postów w rankingu, czy lepszego wychwytywania treści, które naruszają standardy społeczności Facebooka (jego zasady dotyczące tego, co jest, a co nie jest dozwolone na platformie). Następnie testują nowy model na niewielkiej podgrupie użytkowników Facebooka, aby zmierzyć, w jaki sposób zmienia on wskaźniki zaangażowania, takie jak liczba polubień, komentarzy i udostępnień, mówi Krishna Gade, który w latach 2016-2018 pełnił funkcję kierownika ds. inżynierii kanału informacyjnego. .
Jeśli model za bardzo zmniejsza zaangażowanie, jest odrzucany. W przeciwnym razie jest wdrażany i stale monitorowany. Na Twitterze, Gade wyjaśniono że jego inżynierowie będą otrzymywali co kilka dni powiadomienia, gdy wskaźniki, takie jak polubienia lub komentarze, nie będą działać. Następnie rozszyfrowaliby, co spowodowało problem i czy jakieś modele wymagają przeszkolenia.
W jaki sposób ranking treści Facebooka doprowadził do rozprzestrzeniania się dezinformacji i mowy nienawiści?
Podczas swoich zeznań Haugen wielokrotnie powracała do myśli, że algorytm Facebooka podżega do dezinformacji, mowy nienawiści, a nawet przemocy etnicznej.
Facebook… wie – przyznali publicznie – że ranking oparty na zaangażowaniu jest niebezpieczny bez systemów integralności i bezpieczeństwa, ale potem nie wprowadził tych systemów integralności i bezpieczeństwa w większości języków na świecie, powiedziała dziś Senatowi. Rozdziera rodziny. A w miejscach takich jak Etiopia dosłownie podsyca przemoc etniczną.
Oto, co napisałem o tym wcześniej:
Modele uczenia maszynowego, które maksymalizują zaangażowanie, sprzyjają również kontrowersjom, dezinformacji i ekstremizmowi: mówiąc po prostu, ludzie po prostu lubią skandaliczne rzeczy.
Czasami rozpala to istniejące napięcia polityczne. Najbardziej niszczycielskim przykładem do tej pory jest sprawa Myanmaru, gdzie wirusowe fałszywe wiadomości i mowa nienawiści na temat muzułmańskiej mniejszości Rohingya eskalowały konflikt religijny w tym kraju do pełnego ludobójstwa. Facebook przyznał w 2018 roku, po latach bagatelizowania swojej roli, że nie zrobił wystarczająco dużo, aby zapobiec wykorzystywaniu naszej platformy do wzniecania podziałów i podżegania do przemocy offline.
Jak wspomniał Haugen, Facebook również o tym wiedział od jakiegoś czasu. Poprzednie raporty wykazały, że zajmuje się badaniem tego zjawiska od co najmniej 2016 roku.
W wewnętrznej prezentacji z tego roku, zrecenzowanej przez dziennik 'Wall Street , badaczka firmy, Monica Lee, odkryła, że Facebook nie tylko gościł dużą liczbę grup ekstremistycznych, ale także promował je wśród swoich użytkowników: 64% wszystkich przyłączeń do grup ekstremistycznych wynika z naszych narzędzi rekomendacyjnych, jak czytamy w prezentacji, głównie dzięki modele stojące za funkcjami Grupy, do których należy dołączyć i odkryć.
W 2017 roku Chris Cox, wieloletni dyrektor ds. produktów Facebooka, utworzył nową grupę zadaniową, aby zrozumieć, czy maksymalizacja zaangażowania użytkowników na Facebooku przyczynia się do polaryzacji politycznej. Okazało się, że rzeczywiście istnieje korelacja i że zmniejszenie polaryzacji oznaczałoby trafienie w zaangażowanie. W dokumencie z połowy 2018 r., przejrzanym przez Journal, grupa zadaniowa zaproponowała kilka potencjalnych poprawek, takich jak ulepszenie algorytmów rekomendacji, aby zasugerować bardziej zróżnicowany zakres grup, do których ludzie mogą dołączyć. Ale przyznał, że niektóre pomysły były antywzrostowe. Większość propozycji nie posunęła się do przodu, a zespół zadaniowy został rozwiązany.
W moich własnych rozmowach pracownicy Facebooka również potwierdzili te ustalenia.
Były badacz AI Facebooka, który dołączył do niego w 2018 roku, twierdzi, że wraz ze swoim zespołem przeprowadzał badania po badaniu potwierdzające tę samą podstawową ideę: modele, które maksymalizują zaangażowanie zwiększają polaryzację. Mogli łatwo śledzić, jak mocno użytkownicy zgadzali się lub nie zgadzali w różnych kwestiach, z jakimi treściami lubili się angażować i jak w rezultacie zmieniły się ich stanowiska. Niezależnie od problemu modele nauczyły się karmić użytkowników coraz bardziej ekstremalnymi punktami widzenia. Z biegiem czasu w wymierny sposób stają się bardziej spolaryzowane, mówi.
Powiązana historia
Wyścig o zrozumienie ekscytującego, niebezpiecznego świata językowej AI Setki naukowców na całym świecie współpracują, aby zrozumieć jedną z najpotężniejszych wschodzących technologii, zanim będzie za późno.
W swoich zeznaniach Haugen wielokrotnie podkreślała, że te zjawiska są znacznie gorsze w regionach, w których nie mówi się po angielsku, z powodu nierównego zasięgu Facebooka w różnych językach.
W przypadku Etiopii jest 100 milionów ludzi i sześć języków. Facebook obsługuje tylko dwa z tych języków dla systemów integralności, powiedziała. Ta strategia skupiania się na specyficznych dla języka i treści systemach, aby sztuczna inteligencja nas ratowała, jest skazana na porażkę.
Kontynuowała: Tak więc inwestowanie w nieoparte na treści sposoby spowolnienia platformy nie tylko chroni naszą wolność słowa, ale także chroni życie ludzi.
Omówię to bardziej w innym artykule z początku tego roku na temat ograniczeń duże modele językowe lub LLM:
Pomimo tego, że LLM mają te braki językowe, Facebook w dużej mierze polega na nich, aby zautomatyzować moderowanie treści na całym świecie. Kiedy wojna w Tigray [w Etiopii] wybuchła po raz pierwszy w listopadzie, [badacz etyki AI Timnit] Gebru zobaczył, jak platforma brnie, aby poradzić sobie z lawiną dezinformacji. Jest to charakterystyczne dla uporczywego wzorca, który badacze zaobserwowali w moderowaniu treści. Społeczności posługujące się językami, które nie są traktowane priorytetowo przez Dolinę Krzemową, cierpią w najbardziej nieprzyjaznym środowisku cyfrowym.
Gebru zauważył, że nie na tym kończy się krzywda. Gdy fałszywe wiadomości, mowa nienawiści, a nawet groźby śmierci nie zostaną złagodzone, są one następnie usuwane jako dane szkoleniowe w celu zbudowania nowej generacji LLM. A te modele, powtarzając jak papuga to, na czym zostały wyszkolone, w końcu wyrzucają te toksyczne wzorce językowe w Internecie.
Jak ranking treści Facebooka odnosi się do zdrowia psychicznego nastolatków?
Jednym z bardziej szokujących doniesień z Facebook Files było wewnętrzne badanie Instagrama, które wykazało, że jego platforma pogarsza zdrowie psychiczne nastoletnich dziewcząt. Trzydzieści dwa procent nastoletnich dziewcząt powiedziało, że kiedy źle się czują ze swoim ciałem, Instagram sprawia, że czują się gorzej, jak napisali naukowcy w prezentacji slajdów z marca 2020 roku.
Haugen łączy to zjawisko również z systemami rankingowymi opartymi na zaangażowaniu, co, jak powiedziała dziś Senatowi, powoduje, że nastolatki są bardziej narażone na anoreksję.
Jeśli Instagram jest tak pozytywną siłą, czy w ciągu ostatnich 10 lat widzieliśmy złoty wiek zdrowia psychicznego nastolatków? Nie, widzieliśmy wzrost wskaźników samobójstw i depresji wśród nastolatków, kontynuowała. Istnieje szeroki zakres badań, które wspierają ideę, że korzystanie z mediów społecznościowych zwiększa ryzyko tych szkód dla zdrowia psychicznego.
W swoim własnym reportażu słyszałem od byłego badacza AI, który również widział, jak ten efekt rozciąga się na Facebooka.
Zespół badaczy… odkrył, że użytkownicy, którzy mają tendencję do publikowania lub angażowania się w treści melancholijne – co jest możliwą oznaką depresji – mogą łatwo wpaść w spiralę konsumowania coraz bardziej negatywnych materiałów, co grozi dalszym pogorszeniem ich zdrowia psychicznego.
Ale podobnie jak w przypadku Haugen, badacz odkrył, że kierownictwo nie było zainteresowane wprowadzaniem fundamentalnych zmian algorytmicznych.
Zespół zaproponował ulepszenie modeli rankingu treści dla tych użytkowników, aby przestali maksymalizować zaangażowanie w pojedynkę, tak aby pokazywano im mniej przygnębiających rzeczy. Pytanie do przywództwa brzmiało: Czy powinniśmy optymalizować zaangażowanie, jeśli okaże się, że ktoś jest w słabym stanie umysłu? on pamięta.
Ale wszystko, co zmniejszało zaangażowanie, nawet z powodów takich jak nie zaostrzanie czyjejś depresji, prowadziło do wielu kłótni i hałaśliwości wśród przywódców. Z ich ocenami wyników i wynagrodzeniami powiązanymi z pomyślnym zakończeniem projektów, pracownicy szybko nauczyli się odrzucać te, które zostały odepchnięte i kontynuować pracę nad tymi podyktowanymi odgórnie….
Tymczasem były pracownik nie pozwala już swojej córce korzystać z Facebooka.
Jak to naprawić?
Haugen sprzeciwia się rozbiciu Facebooka lub uchyleniu sekcji 230 amerykańskiej ustawy Communications Decency Act, która chroni platformy technologiczne przed wzięciem odpowiedzialności za rozpowszechniane treści.
Zamiast tego zaleca stworzenie bardziej ukierunkowanego wyłączenia w sekcji 230 dla rankingu algorytmicznego, który, jak twierdzi, pozbyłby się rankingu opartego na zaangażowaniu. Opowiada się również za powrotem do chronologicznego kanału informacyjnego Facebooka.
Powiązana historia
Recenzja: Dlaczego Facebook nigdy się nie naprawi W „Brzydkiej prawdzie” reporterzy Sheera Frenkel i Cecilia Kang ujawniają fundamentalne wady Facebooka, szczegółowo opisując lata między dwoma wyborami w USA.
Ellery Roberts Biddle, dyrektor projektów w Ranking Digital Rights, organizacji non-profit, która bada systemy rankingowe w mediach społecznościowych i ich wpływ na prawa człowieka, mówi, że wydzielenie Sekcji 230 wymagałoby starannej weryfikacji: myślę, że miałoby to wąski wpływ. Nie sądzę, aby udało się osiągnąć to, na co moglibyśmy mieć nadzieję.
Mówi, że aby takie wydzielenie było wykonalne, decydenci i opinia publiczna musieliby mieć znacznie większy poziom przejrzystości w zakresie działania systemów kierowania reklam i rankingu treści Facebooka. Rozumiem intencje Haugena – to ma sens, mówi. Ale to trudne. Właściwie nie odpowiedzieliśmy jeszcze na pytanie dotyczące przejrzystości algorytmów. Jest o wiele więcej do zrobienia.
Niemniej jednak rewelacje i zeznania Haugena ponownie zwróciły uwagę na to, co wielu ekspertów i pracowników Facebooka mówiło od lat: że jeśli Facebook nie zmieni fundamentalnego projektu swoich algorytmów, nie wpłynie to na znaczące problemy platformy.
Jej interwencja rodzi również perspektywę, że jeśli Facebook nie będzie w stanie uporządkować własnego domu, decydenci mogą wymusić tę kwestię.
Kongres może zmienić zasady, którymi kieruje się Facebook i powstrzymać wiele szkód, jakie teraz wyrządza, powiedział Haugen Senatowi. Zgłosiłem się z wielkim osobistym ryzykiem, ponieważ uważam, że wciąż mamy czas na działanie, ale musimy działać teraz.