Oprogramowanie, które zamienia słowa, może teraz oszukać sztuczną inteligencję stojącą za Alexą i Siri

Kategoria: Sztuczna inteligencja Opublikowany lut 07

Wiadomości: Oprogramowanie o nazwie TextFooler może nakłonić systemy przetwarzania języka naturalnego (NLP) do niezrozumienia tekstu, po prostu zastępując określone słowa w zdaniu synonimami. W testach udało się radykalnie obniżyć dokładność trzech najnowocześniejszych systemów NLP. Na przykład potężna sieć neuronowa BERT firmy Google była gorsza od pięciu do siedmiu razy w określaniu, czy recenzje na Yelp były pozytywne, czy negatywne.

Przetestowali atak na systemy NLP przeszkolone do wykonywania zadań, takich jak identyfikowanie tematów wiadomości, wykrywanie fałszywych wiadomości i analizowanie nastrojów. We wszystkich przypadkach AI znacznie się pogorszył .

Jak to działa: Oprogramowanie, opracowane przez zespół z MIT, wyszukuje w zdaniu słowa, które są najważniejsze dla klasyfikatora NLP i zastępuje je synonimem, który człowiek uważa za naturalny. Na przykład, zmiana zdania Postacie, oddane w niemożliwie zaaranżowanych sytuacjach, są całkowicie oderwane od rzeczywistości. Postacie, oddane w niemożliwie zaaranżowanych okolicznościach, są całkowicie oderwane od rzeczywistości, nie ma większego znaczenia dla tego, jak ją czytamy. Ale poprawki sprawiły, że sztuczna inteligencja zinterpretowała zdania zupełnie inaczej.

Dlaczego jest to ważne: Widzieliśmy wiele przykładów takich wrogich ataków, najczęściej z systemami rozpoznawania obrazu, w których drobne zmiany danych wejściowych mogą zmylić sztuczną inteligencję i sprawić, że błędnie zaklasyfikuje to, co widzi. TextFooler pokazuje, że ten styl ataku łamie również NLP, sztuczną inteligencję stojącą za wirtualnymi asystentami — takimi jak Siri, Alexa i Google Home — a także inne klasyfikatory językowe, takie jak filtry spamu i wykrywacze mowy nienawiści. Naukowcy twierdzą, że narzędzia takie jak TextFooler mogą pomóc wzmocnić systemy NLP, ujawniając ich słabości.