211service.com
Sztuczna inteligencja do generowania fałszywych wiadomości może również pomóc w ich wykryciu
Hendrik Strobelt i Sebastian Gehrmann
W zeszłym miesiącu OpenAI dość dramatycznie wstrzymał wypuszczenie swojego najnowszego modelu językowego, GPT-2, ponieważ obawiał się, że może on zostać wykorzystany do zautomatyzowania masowej produkcji dezinformacji. Decyzja przyspieszyła również trwającą dyskusję społeczności AI na temat wykrywania tego rodzaju fałszywych wiadomości. W nowym eksperyment , naukowcy z MIT-IBM Watson AI Lab i HarvardNLP zastanawiali się, czy te same modele językowe, które potrafią napisać tak przekonującą prozę, mogą również wykryć inne fragmenty wygenerowane przez modele.
Idea tej hipotezy jest prosta: modele językowe tworzą zdania, przewidując następne słowo w sekwencji tekstu. Jeśli więc z łatwością potrafią przewidzieć większość słów w danym fragmencie, prawdopodobnie napisał je ktoś z nich.
Naukowcy przetestowali swój pomysł, budując interaktywne narzędzie na podstawie publicznie dostępnej, obniżonej wersji GPT-2 OpenAI. Gdy wprowadzasz do narzędzia fragment tekstu, podświetla ono słowa na zielono, żółto lub czerwono, aby wskazać zmniejszającą się łatwość przewidywalności; podkreśla je na fioletowo, gdyby w ogóle ich nie przewidział. Teoretycznie im wyższy ułamek słowa czerwonego i fioletowego, tym większa szansa, że fragment został napisany przez człowieka; im większy udział słów zielonych i żółtych, tym większe prawdopodobieństwo, że został napisany przez model językowy.
Czytanie ze zrozumieniem fragment ze standardowego testu amerykańskiego, napisany przez człowieka. Hendrik Strobelt i Sebastian Gehrmann
Fragment napisany przez obniżoną wersję GPT-2 OpenAI. Hendrik Strobelt i Sebastian Gehrmann
Rzeczywiście, naukowcy odkryli, że fragmenty napisane przez obniżoną i pełną wersję GPT-2 wyszły prawie całkowicie na zielono i żółto, podczas gdy streszczenia naukowe napisane przez ludzi i teksty z czytania ze zrozumieniem w standaryzowanych testach amerykańskich miały dużo czerwieni i fioletu.
Ale nie tak szybko. Janelle Shane, badaczka prowadząca popularnego bloga Dziwne sieci neuronowe i kto nie był zaangażowany we wstępne badania, przełóż narzędzie na więcej rygorystyczny test . Zamiast po prostu karmić go tekstem wygenerowanym przez GPT-2, karmiła go również fragmentami napisanymi przez inne modele językowe, w tym jeden wyszkolony na temat recenzji Amazon i drugi nauczony na biografiach Dungeons and Dragons. Odkryła, że narzędzie nie przewidziało dużej części słów w każdym z tych fragmentów, a zatem założyło, że zostały napisane przez człowieka. Identyfikuje to ważne spostrzeżenie: model językowy może być dobry w wykrywaniu własnych wyników, ale niekoniecznie wyników innych.
Ta historia pojawiła się pierwotnie w naszym biuletynie AI The Algorithm. Aby otrzymać go bezpośrednio do skrzynki odbiorczej, zarejestruj się tutaj za darmo.