Okropni ludzie nauczyli się wykorzystywać internet. Yasmin Green walczy.

Zespół Jigsawa w Alphabet sprowadza ludzi, którzy zradykalizowali się online, z powrotem z krawędzi, po jednym filmie na raz. Za pomocą

• Martin Giles strona archiwum

19 lutego 2018

Landon Speers

Mowa nienawiści, radykalizacja w Internecie, samouczki na temat tworzenia bomb, sponsorowane przez państwo fake newsy, cenzura sieci — internet to okropne miejsce.

W każdym razie część tego jest. Pomaganie w utrzymaniu tej części jak najmniejszej to zadanie Yasmin Green, dyrektor ds. badań i rozwoju w Jigsaw, filii firmy macierzystej Google, Alphabet. Zmierza się z terrorystami i trollami w międzynarodowej grupie około 60 specjalistów, w tym inżynierów oprogramowania, naukowców i menedżerów produktów. Mogą również skorzystać z ogromnych zasobów Google. Ale Green i jej koledzy nie spędzają całego czasu na kodowaniu i budowaniu; wielu z nich podróżuje również do geopolitycznych punktów zapalnych, aby z bliska przyjrzeć się radykalizacji. Rozmawiała z Przegląd technologii MIT o niektórych metodach grupy.

Ta historia była częścią naszego wydania z marca 2018 r.

• Zobacz resztę numeru
• Subskrybuj

Co przyciągnęło cię do roli w Jigsaw?

Opuściłem Iran, gdzie się urodziłem, w bardzo młodym wieku i dorastałem w Wielkiej Brytanii. Pamiętam, jak wróciłem w wieku 19 lat i byłem zdumiony poziomem cenzury panującej w tym kraju, zarówno offline, jak i online. Terminy takie jak sieć WWW wydają się brzmieć ironicznie dla osób, które nie mieszkają w krajach, w których informacje są bezpłatne. Tak więc ciągnęło mnie do pracy w firmie, która stara się udostępniać informacje wszystkim.

Landon Speers

Jigsaw radzi sobie z zagrożeniami internetowymi, ale członkowie zespołu również odwiedzają strefy konfliktów w ramach swojej pracy. Jaki jest cel tych wyjazdów?

Chcemy mieć pewność, że projektujemy technologię opartą na zrozumieniu ludzkich doświadczeń. Dużą częścią naszej metodologii jest wysyłanie członków zespołu w teren, aby przeprowadzali wywiady z ludźmi, którzy stoją na pierwszej linii wyzwań, z którymi staramy się stawić czoła, niezależnie od tego, czy są to represje, czy konflikty. Jedna z naszych wycieczek terenowych była do Iraku, gdzie siedzieliśmy twarzą w twarz z ludźmi, którzy przyłączyli się, a następnie opuścili grupę terrorystyczną znaną jako ISIS. Chcieliśmy zrozumieć proces radykalizacji, zarówno elementy ludzkie, jak i rolę, jaką odegrała technologia. Słyszeliśmy o tym, jak ludzie odkryli ISIS, jak ludzie byli rekrutowani i jak technologia była przydatna w logistyce ich podróży [aby dołączyć do grupy].

Jaka jest najważniejsza lekcja, jakiej nauczyliśmy się na temat zdolności ISIS do wykorzystywania Internetu do rekrutacji?

ISIS właściwie opanowuje wiele mediów, od radia po ulotki. Jeśli chodzi o internet, naprawdę zrozumieli moc mikrotargetowania. Tworzą treści w długiej liście języków, w tym arabskim i angielskim, ale to trwa i trwa, a nawet dociera do chińskiego i hebrajskiego. Językiem, który naprawdę zaskoczył mnie, gdy zobaczyłem wideo, był język migowy. Tworzą więc bardzo lokalne materiały rekrutacyjne i wykorzystują algorytmy dostępne w mediach społecznościowych, aby rozpowszechniać ten materiał i docierać do ludzi we wszystkich zakątkach świata.

Niektóre sieci terrorystyczne, które zamieszczają treści w Internecie, wyraźnie muszą zostać usunięte. Ale jak radzimy sobie z bardziej subtelnymi formami propagandy?

Zdecydowanie istnieją kategorie treści, które chcesz, aby nie ujrzały światła dziennego, takie jak ścinanie głów i samouczki dotyczące tworzenia bomb. Jest też cała masa innych treści, które tak naprawdę nie nawołują do przemocy, ale mogą pomóc ludziom na drodze do niej. Nasze badania miały na celu zrozumienie, jakie motywy rekrutacyjne skłoniły ludzi do zapisania się do ISIS. Okazuje się, że na ogół nie ciągnęło ich do ścinania głów; zamiast tego byli przekonani, że ta grupa jest religijnie uprawniona, a przyczyną dżihadu był ich religijny obowiązek. ISIS kształtowało rozmowę, zadając pytania, na które miała pozornie przekonujące odpowiedzi.

Nie sądzę, by ktokolwiek wyobrażał sobie, że będziemy mieli taki poziom zastraszania i mowy nienawiści w Internecie, jak obecnie, i musimy naprawdę bardzo się postarać, aby upewnić się, że wyprzedzimy go.

Jak próbowałeś przeciwdziałać tej radykalizacji w Internecie?

Jednym z wniosków dla nas było to, że czas ma kluczowe znaczenie. Zanim potencjalni rekruci zostaną sprzedani na ideologii, jest już za późno, aby na nich wpłynąć; musisz się do nich dostać, gdy są sympatyczni, ale jeszcze nie sprzedani. Zwróciliśmy się więc do ukierunkowanej reklamy internetowej. Opracowaliśmy coś, co nazywa się metodą przekierowania, która wykorzystuje ukierunkowane reklamy, aby dotrzeć do osób sympatyzujących z ISIS, ale jeszcze nie są w to zaangażowani, i przekierowuje ich do internetowych filmów od umiarkowanych duchownych, uciekinierów i dziennikarzy obywatelskich, które mogą zapobiec ich radykalizacji.

Jakie wyniki przyniosła ta metoda?

Pilot, który trwał osiem tygodni i prowadził po arabsku i angielsku, dotarł do 320 000 osób. Miał wyjątkowo wysoki współczynnik klikalności reklam i skrócił czas oglądania filmów o pół miliona minut. Biorąc pod uwagę, że ludzie nie spędzają więcej niż kilka sekund na filmie, którym nie są zainteresowani, to zachęcające. Po naszym programie pilotażowym YouTube zintegrował tę metodę z wynikami wyszukiwania. Metodologia open source została również zreplikowana przez inne firmy, takie jak Gen Next Foundation, a my nadal wspieramy niektóre nowe wdrożenia.

Jigsaw próbuje również zwalczyć cenzurę w Internecie. Jak zły jest ten problem?

Jeśli spojrzysz na ten wskaźnik na indeks Freedom House, mówią, że z każdym rokiem sytuacja się pogarsza. To naprawdę zniechęcające, ponieważ jest to sprzeczne z tym, czego chcą za niego ludzie, którzy rozwijają internet. Sytuacja jest tak niestabilna. Kiedy masz niepokoje społeczne, jak ostatnio w Iranie, widzisz dylemat represyjnych rządów wokół tego, czy zamknąć internet, czy nie, ponieważ [cenzurowanie] rozpala populację i przyciąga uwagę publiczną i oburzenie. Ale jeśli ci, którzy są u władzy, poczują się zagrożeni, dokonają cenzury.

Co mogą zrobić firmy takie jak Alphabet, aby temu przeciwdziałać?

Czujemy naprawdę dużą odpowiedzialność, aby pomóc ludziom uzyskać dostęp do informacji, zwłaszcza gdy dochodzi do konfliktów i represji. Jeden z naszych produktów koncentruje się na ochronie niezależnych mediów na całym świecie przed rodzajem ataku cenzury zwanego rozproszoną odmową usługi (DDoS), który wyłącza strony internetowe, zalewając je ruchem. Nazywa się Project Shield. Pomysł na to wyszedł z naszych badań terenowych. Nasz zespół rozmawiał z kenijską grupą monitorującą wybory, a ich strona przestała działać w dniu kluczowych wyborów. Google dysponuje ogromną infrastrukturą i światowej klasy możliwościami ograniczania ataków DDoS, z których korzysta Project Shield. Bez stron internetowych, które muszą być hostowane w Google lub Jigsaw, oferuje weryfikację ruchu, zanim dotrze on do serwera, abyśmy mogli wykryć złośliwy ruch i go odfiltrować.

Przejdźmy do problemu fake newsów. Jak możemy lepiej zidentyfikować sponsorowane przez państwo działania dezinformacyjne?

Powiązana historia

Powiązana historia Yasmin Green, szefowa działu badań i rozwoju w firmie Alphabet's Jigsaw, wykorzystuje technologię w nadziei, że świat stanie się lepszym miejscem. To nie jest łatwe.

Celem tych kampanii jest zasianie pomysłów i narracji za pośrednictwem fałszywych person i witryn z wiadomościami, a następnie zapłodnienie tych nasion przez masy, aby rozmowy wyglądały na organiczne. Pytanie badawcze, które sobie zadawaliśmy, dotyczy tego, czy istnieją techniczne markery skoordynowanej, ukrytej aktywności w porównaniu z bardziej organiczną aktywnością, którą spodziewamy się zobaczyć w Internecie. Jeśli tak, możemy ich użyć do automatycznego wykrywania.

Patrzymy tutaj na kilka wymiarów. Skoordynowane kampanie zwykle trwają dłużej niż te organiczne, a zaangażowane w nie osoby mają tendencję do czekania na instrukcje od swoich mistrzów, więc czasami następuje niewielkie opóźnienie, zanim nagle zaczną działać razem. Aktorzy ci są również połączeni w niezwykle ciasne sieci lub klastry, które wyglądają anomalnie. Jest też wymiar semantyczny. Kampanie te często wykorzystują podobne słowa i wyrażenia, które mogą być sygnałem scentralizowanej kontroli.

Firmy internetowe są krytykowane za to, że nie robią wystarczająco dużo, aby przeciwdziałać mowie nienawiści i nękaniu w Internecie. Czy ta krytyka jest słuszna?

Nie sądzę, by ktokolwiek wyobrażał sobie, że będziemy mieli taki poziom zastraszania i mowy nienawiści w Internecie, jak obecnie, i musimy naprawdę bardzo się postarać, aby upewnić się, że wyprzedzimy go.

Co robi Jigsaw, by sfrustrować internetowe trolle?

Mamy zespół zajmujący się sprawdzaniem, jak przetwarzanie języka naturalnego i uczenie maszynowe można wykorzystać do identyfikacji toksyczności online i pomocy moderatorom i społecznościom w radzeniu sobie z nimi. Istnieje model, który opracowaliśmy, który jest publicznie dostępny, zwany Perspektywą, i można go znaleźć na www.perspectiveapi.com . Pomaga to oceniać komentarze pod kątem ich poziomu toksyczności. Zespół badawczy szuka sposobów na przejście na inny poziom szczegółowości, aby pomóc nam lepiej identyfikować to, co się dzieje i jak moderatorzy mogą to kontrolować.

Istnieje wiele obaw, że stronniczość algorytmów może zaszkodzić niektórym grupom społecznym. Czy jest to coś, na czym również się koncentrujesz?

Tak. Spędzamy dużo czasu na myśleniu o tym, jak możemy zapewnić, że nie będziemy mieć uprzedzeń w naszej sztucznej inteligencji w perspektywie, które mogą być szkodliwe dla celów tego projektu, jakim jest tworzenie integracyjnych i empatycznych rozmów.

Spędzasz dużo swojego życia skoncentrowany na ciemnej stronie Internetu. Czy nadal jesteś optymistą co do jego potencjału?

Tak, ale musimy nadal rozwijać innowacyjne technologie, które pomogą sprostać tym naprawdę trudnym wyzwaniom.

ukryć