Nawet najlepsza sztuczna inteligencja do wykrywania fałszywych wiadomości jest wciąż okropna

Ilustracja zdezorientowanego robota trzymającego gazetę Pani Tech

Kiedy dyrektor naczelny Facebooka, Mark Zuckerberg, obiecał Kongresowi, że sztuczna inteligencja pomoże rozwiązać problem fałszywych wiadomości, ujawnił niewiele w kwestii w jaki sposób . Nowe badania przybliżają nas o krok do rozwiązania tego problemu.

W obszernym badaniu, które zostanie zaprezentowane na konferencji w tym miesiącu, naukowcy z MIT, Qatar Computing Research Institute (QCRI) i Uniwersytetu Sofijskiego w Bułgarii przetestowali ponad 900 możliwych zmiennych do przewidywania wiarygodności mediów — prawdopodobnie największy zestaw, jaki kiedykolwiek zaproponowano. .

Następnie naukowcy przeszkolili model uczenia maszynowego na różnych kombinacjach zmiennych, aby zobaczyć, które przyniosą najdokładniejsze wyniki. Najlepszy model dokładnie oznaczał serwisy informacyjne o niskiej, średniej lub wysokiej zawartości faktów tylko w 65% przypadków.

To jest dalekie od miażdżącego sukcesu. Ale eksperymenty ujawniają ważne rzeczy na temat tego, czego potrzeba, aby zlecić naszej maszynie sprawdzanie faktów. Preslav Nakov, starszy naukowiec w QCRI i jeden z badaczy biorących udział w badaniu, mówi, że jest optymistą, że w ten sposób można automatycznie wykryć źródła fałszywych wiadomości.

Ale to nie znaczy, że będzie to łatwe.

Sposób na szaleństwo

W wyniku eksplozji badań nad wykrywaniem fałszywych wiadomości od czasu kampanii prezydenckiej w USA w 2016 r. pojawiły się cztery główne podejścia: sprawdzanie faktów poszczególnych twierdzeń, wykrywanie fałszywych artykułów, polowanie na trolle i mierzenie wiarygodności źródeł wiadomości. Nakov i reszta zespołu postanowili skupić się na czwartym, ponieważ jest najbliżej źródła dezinformacji. Zostało to również najmniej zbadane.

Wcześniejsze badania próbowały scharakteryzować wiarygodność źródła wiadomości na podstawie tego, ile jego twierdzeń odpowiadało lub było sprzecznych z twierdzeniami, które zostały już sprawdzone. Innymi słowy, maszyna porównywałaby historię faktycznych twierdzeń wysuwanych przez serwis informacyjny z wnioskami witryn takich jak Snopes czy PolitiFact. Mechanizm opiera się jednak na sprawdzaniu faktów ludzkich i ocenia historię sklepu, a nie bieżącą teraźniejszość. – Zanim najnowsze twierdzenia zostaną ręcznie sprawdzone, jest już za późno – mówi Nakov.

Aby wykryć fałszywe źródło wiadomości w czasie zbliżonym do rzeczywistego, Nakov i jego współpracownicy nauczyli swój system przy użyciu zmiennych, które można było zestawiać w tabeli niezależnie od sprawdzania faktów przez ludzi. Obejmowały one analizy treści, takie jak struktura zdań nagłówków i różnorodność słów w artykułach; ogólne wskaźniki witryny, takie jak struktura adresu URL i ruch w witrynie; oraz miary wpływu placówki, takie jak zaangażowanie w mediach społecznościowych i strona Wikipedii, jeśli taka istnieje.

Aby wybrać zmienne, badacze oparli się zarówno na wcześniejszych badaniach – wcześniejsze badania wykazały, że na przykład artykuły z fałszywymi wiadomościami mają tendencję do dobierania powtarzalnych słów – jak i na nowych hipotezach.

Testując różne kombinacje zmiennych, naukowcy byli w stanie zidentyfikować najlepsze predyktory wiarygodności źródła wiadomości. Na przykład, czy punkt sprzedaży miał stronę Wikipedii, miał ogromną moc przewidywania; w przeciwieństwie do tego ruch w punkcie sprzedaży nie miał żadnego. Ćwiczenie pomogło naukowcom określić dodatkowe zmienne, które mogliby zbadać w przyszłości.

Brak danych

Ale jest jeszcze jedna przeszkoda: brak danych treningowych – to, co Nakov nazywa podstawową prawdą.

W przypadku większości zadań uczenia maszynowego dodawanie adnotacji do danych szkoleniowych jest dość proste. Jeśli chcesz zbudować system wykrywający artykuły o sporcie, możesz łatwo oznaczyć artykuły jako powiązane lub niezwiązane z danym tematem. Następnie wprowadzasz zestaw danych do maszyny, aby mogła poznać charakterystykę artykułu sportowego.

Ale etykietowanie mediów o wysokiej lub niskiej zawartości faktów jest znacznie bardziej wrażliwe. Muszą to zrobić profesjonalni dziennikarze, którzy przestrzegają rygorystycznych metodologii, a jest to czasochłonny proces. W rezultacie trudno jest zbudować solidny korpus danych treningowych, co jest częściowo przyczyną tak niskiej dokładności modelu badania. Najbardziej oczywistym sposobem na zwiększenie dokładności jest uzyskanie większej ilości danych treningowych, mówi Nakov

Obecnie Media Bias Fact Check, organizacja wybrana do dostarczania podstawowych informacji do badań, oceniła 2500 źródeł medialnych, co stanowi niedostatek w zakresie uczenia maszynowego. Ale Nakov mówi, że baza danych organizacji szybko rośnie. Oprócz uzyskania większej ilości danych szkoleniowych badacze starają się również poprawić wydajność swojego modelu za pomocą większej liczby zmiennych, z których niektóre opisują strukturę witryny, informacje kontaktowe oraz wzorce publikowania i usuwania treści.

Są również na wczesnym etapie budowania platformy agregacji wiadomości, która daje czytelnikom ważne wskazówki dotyczące wiarygodności każdej udostępnianej historii i źródła.

Pomimo pracy, która pozostała do wykonania, Nakov uważa, że ​​taka technologia może stosunkowo szybko pomóc w rozwiązaniu epidemii fałszywych wiadomości, jeśli platformy takie jak Facebook i Twitter będą usilnie podejmować wysiłki. To jak walka ze spamem, napisał w wiadomości na Skypie. Nigdy nie zatrzymamy całkowicie fałszywych wiadomości, ale możemy je kontrolować.

ukryć