Jak DARPA zajęła się zagrożeniem botem na Twitterze jedną ręką za plecami?

Jednym z bardziej niepokojących zjawisk na Twitterze jest rozprzestrzenianie się botów, które automatycznie generują tweety w celu rozpowszechniania spamu, nielegalnego zarabiania pieniędzy poprzez oszustwa na kliknięciach i, co najbardziej niepokojące, wpływania na dyskusję na tematy takie jak terroryzm i polityka.

Liczba kont na Twitterze zaangażowanych w tego rodzaju działalność nie jest mała. W 2014 roku Twitter przyznał, że ponad 8 procent jego kont zostało zautomatyzowanych – to około 23 miliony aktywnych użytkowników Twittera.

Firma zwróciła uwagę, że wiele z nich było całkowicie uzasadnionych — wiele z tych kont otwarcie publikuje lub wyświetla tweety innych użytkowników. Niemniej jednak znaczna liczba jest wyraźnie kwestionowana, a boty wywierające wpływ są szczególnym problemem.

Na przykład grupa nazywająca siebie Państwem Islamskim korzysta z internetowych mediów społecznościowych, aby przekonać młodych ludzi do poparcia ich sprawy. Niektórzy obserwatorzy uważają, że Rosja rozpoczęła poważną kampanię dezinformacyjną w mediach społecznościowych dotyczącą aneksji Krymu. Inni twierdzą, że boty odegrały znaczącą rolę w wywarciu wpływu na wynik wyborów w Indiach w 2014 roku.

Tak więc sposób na niezawodne wykrywanie wpływowych botów na Twitterze byłby niezwykle przydatny. W zeszłym roku Agencja Obronnych Zaawansowanych Projektów Badawczych (DARPA) postanowiła znaleźć taką metodę, organizując czterotygodniowe zawody, w których zespoły zostały poproszone o wykrycie botów w strumieniu postów na temat szczepień. Jeden zespół okazał się wyraźnym zwycięzcą, a wyniki pokazały kilka znaczących nowych strategii identyfikacji botów w świecie rzeczywistym.

Dziś dzięki artykułowi V.S. Subrahmanian na Uniwersytecie Maryland w College Park i Sentimetrix oraz kilku kumpli.

Konkurs był tak realistyczny, jak tylko mógł to zrobić DARPA. Tweety były wiadomościami zebranymi ze strumienia Twittera podczas debaty na temat szczepień w 2014 roku. W tej debacie utworzono szereg botów w ramach konkursu, aby zobaczyć, jak mogą wpływać na dyskusje. Tak więc DARPA miała podstawową wiedzę na temat tego, które konta były sztuczne, a które prawdziwe.

W sumie zbiór danych zawierał ponad cztery miliony wiadomości z ponad 7000 kont, z których 39 to boty w lobby pro- lub antyszczepionkowym. Każda wiadomość zawierała unikalny identyfikator, profil użytkownika wraz ze zdjęciem, adresem URL i zdjęciem, gdzie zostały one uwzględnione. Dane zawierały również znacznik czasu i daty oraz informacje o obserwujących i kiedy jedno konto przestało obserwować inne. Wszystko to było odtwarzane konkurentom w syntetycznym środowisku Twittera przez cztery tygodnie w lutym i marcu.

Zespoły musiały następnie przeanalizować ten strumień na Twitterze i odgadnąć, którzy użytkownicy byli botami. Każde poprawne odgadnięcie dało im jeden punkt, ale drużyna traciła 0,25 punktu za każde błędne odgadnięcie. Zespół, który odgadł wszystkie boty D dni przed końcem wyzwania również dostały D punktów, ponieważ DARPA jest szczególnie zainteresowana wczesnym wykrywaniem botów wpływających.

Zwycięski zespół pochodził z firmy Sentimetrix zajmującej się analizą mediów społecznościowych, która odgadła wszystkie boty 12 dni przed terminem, dokonując tylko jednego błędnego przypuszczenia. To dało im wynik 50,75 punktu. (Drużyna, która zajęła drugie miejsce, z University of Southern California, zdobyła 45 punktów, odnajdując wszystkie boty na sześć dni przed terminem bez błędnych domysłów.)

Zwycięskie strategie ujawniają się. Zespoły rozpoczęły od próby zidentyfikowania w danych początkowego zestawu botów. Co ciekawe, żaden z zespołów nie był w stanie zautomatyzować tego kroku i większość wykorzystywała znaczący wkład ludzki.

Sentimetrix użył wstępnie wytrenowanego algorytmu do wyszukiwania zachowań podobnych do botów. Zespół wyszkolił ten algorytm na danych Twittera z indyjskich wyborów w 2014 roku, w których brało udział wiele botów. Poszukiwano niezwykłej gramatyki, podobieństwa lingwistyki do chatbotów języka naturalnego, takich jak Eliza, oraz niezwykłych zachowań, takich jak długie okresy tweetowania bez przerwy, których człowiek nie mógł łatwo wykonać.

Ujawniło to cztery konta, które wyraźnie były botami, a Sentimetrix następnie wykorzystał je do znalezienia innych. Jednym z założeń było to, że twórcy botów mają tendencję do produkowania wielu podobnych botów i łączenia ich ze sobą, aby zwiększyć ich popularność. Zespół był więc w stanie wykorzystać analizę sieci i klastrów do znalezienia innych prawdopodobnych botów, które następnie porównał ze znanymi botami.

Zespół wykorzystał również funkcje, takie jak czasowa aktywność kont, zakładając, że konto automatyczne wykazywałoby niezwykłe prawidłowości. Sentimetrix szukał również użytkowników, którzy zmienili lojalność podczas debaty z pro- na antyszczepionkową (lub odwrotnie). Założyli, że może to być strategia botów do infiltracji jednej strony sporu, a następnie publikowania argumentów przeciwnych.

Kluczową cechą sukcesu Sentimetrix był sposób, w jaki wizualizował wyniki swojej pracy na internetowym pulpicie nawigacyjnym, tak aby użytkownik mógł łatwo zobaczyć stan analizy dla każdego użytkownika.

Na tym drugim etapie Sentimetrix zidentyfikował kolejnych 25 botów. To dało im wystarczającą ilość danych, aby wytrenować algorytm uczenia maszynowego, aby przeszukiwać dane dla innych botów. I to podejście doprowadziło ich do pozostałych 10 botów.

Zespoły nie wiedziały, ile botów pracuje, więc głównym problemem było wiedzieć, kiedy przestać szukać. Na przykład Sentimetrix zatrzymał się, gdy nie mógł już znaleźć kont, które wyglądały jak boty.

To imponująca praca, która może mieć istotny wpływ na wysiłki mające na celu znalezienie botów, które próbują wpływać na dyskusje online w nieodpowiedni sposób. Opublikowanie takich strategii powinno również pomóc innym graczom w opracowaniu taktyk przeciwko botom.

Ale może też mieć negatywny wpływ. Bitwa między botami a łowcami botów to taka, która nieustannie ewoluuje. W przypadku takich dokumentów, łowcy botów ujawniają swoją rękę w sposób, który pozwala twórcom botów zaprojektować strategie, które w szczególności pokonają te algorytmy. W pewnym sensie to jest jak walka z jedną ręką związaną za plecami.

Niemniej jednak pokusa utrzymywania w tajemnicy strategii polowania na boty byłaby niebezpieczna w promowaniu. Ten rodzaj otwartości jest częścią naszego wolnego społeczeństwa i jest z pewnością jednym z kluczowych powodów, o których zachowanie warto walczyć.

Tak czy inaczej, ta bitwa w kotka i myszkę będzie trwać nadal.

Ref: Wyzwanie botów DARPA na Twitterze: arxiv.org/abs/1601.05140

ukryć