Deepfake bot jest używany do rozbierania nieletnich dziewczyn

Savka Janković / EyeEm

Aktualizacja 28.10.: Od czasu publikacji tego artykułu deepfake bot na Telegramie został zablokowany na iOS za naruszenie wytycznych App Store, według badaczy . Główny kanał Telegram, który hostował bota, oraz powiązany kanał do udostępniania jego dzieł również został usunięty.

W czerwcu 2019 r. wice odkrył istnienie niepokojącej aplikacji, która wykorzystuje sztuczną inteligencję do rozbierania kobiet. Nazwany DeepNude, pozwalał użytkownikom przesłać zdjęcie ubranej kobiety za 50 USD i odzyskać zdjęcie jej pozornie nagiej. W rzeczywistości oprogramowanie wykorzystywało generatywne sieci przeciwników, algorytm stojący za deepfake, do zamiany kobiecych ubrań na wysoce realistyczne nagie ciała. Im bardziej skąpo ubrana ofiara, tym lepiej. To nie działało na mężczyzn.

W ciągu 24 godzin artykuł Vice wywołał taką reakcję, że twórcy aplikacji szybko zdjąłem to . Konto DeepNude na Twitterze ogłosiło, że żadne inne wersje nie zostaną wydane i nikt inny nie uzyska dostępu do technologii.

Ale… nowe śledztwo Sensity AI (wcześniej Deeptrace Labs), firma zajmująca się cyberbezpieczeństwem, która koncentruje się na wykrywaniu nadużyć zmanipulowanych mediów, znalazła teraz bardzo podobną technologię używaną przez publicznie dostępnego bota w aplikacji do przesyłania wiadomości Telegram. Tym razem ma jeszcze prostszy interfejs użytkownika: każdy może wysłać botowi zdjęcie przez aplikację mobilną lub internetową Telegram i otrzymać nagie zdjęcie w ciągu kilku minut. Usługa jest również całkowicie bezpłatna, chociaż użytkownicy mogą zapłacić podstawę 100 rubli (około 1,50 USD) za korzyści, takie jak usunięcie znaku wodnego na usuniętych zdjęciach lub pominięcie kolejki przetwarzania.

Od lipca 2020 r. bot był już wykorzystywany do namierzania i rozbierania co najmniej 100 000 kobiet, z których większość prawdopodobnie nie miała pojęcia. Zwykle są to młode dziewczyny, mówi Giorgio Patrini, dyrektor generalny i główny naukowiec Sensity, współautor raportu. Niestety czasami jest też dość oczywiste, że niektóre z tych osób są niepełnoletnie.

Grywalizacja molestowania

Bot deepfake, uruchomiony 11 lipca 2019 r., jest połączony z siedmioma kanałami Telegrama z łączną liczbą ponad 100 000 członków. (Ta liczba nie uwzględnia podwójnego członkostwa w różnych kanałach, ale sama główna grupa ma ponad 45 000 unikalnych członków).

Kanał centralny jest przeznaczony do hostowania samego bota, podczas gdy pozostałe są wykorzystywane do takich funkcji, jak pomoc techniczna i udostępnianie obrazów. Kanały udostępniania obrazów obejmują interfejsy, których ludzie mogą używać do publikowania i oceniania swoich nagich dzieł. Im bardziej lubi się zdjęcie, tym bardziej jego twórca jest nagradzany tokenami, aby uzyskać dostęp do funkcji premium bota. Twórca otrzyma zachętę, jakby grał w grę, mówi Patrini.

Społeczność, którą można łatwo znaleźć za pośrednictwem wyszukiwania i mediów społecznościowych, stale rosła w ciągu ostatniego roku. Ankieta przeprowadzona wśród 7200 użytkowników wykazała, że ​​około 70% z nich pochodzi z Rosji lub innych krajów rosyjskojęzycznych. Wydaje się jednak, że ofiary pochodzą z większej liczby krajów, w tym z Argentyny, Włoch, Rosji i USA. Większość z nich to osoby prywatne, o których użytkownicy bota mówią, że znają je na żywo lub które znaleźli na Instagramie. Naukowcy byli w stanie zidentyfikować tylko niewielką garstkę kobiet i próbowali skontaktować się z nimi, aby zrozumieć ich doświadczenia. Żadna z kobiet nie odpowiedziała, mówi Patrini.

Badacze skontaktowali się również z Telegramem i odpowiednimi organami ścigania, w tym FBI. Telegram nie odpowiedział ani na ich notatkę, ani na prośbę o komentarz MIT Technology Review. Patrini mówi, że od czasu skontaktowania się z władzami nie zaobserwowali również żadnego namacalnego wpływu na te społeczności.

Deepfake porno zemsty

Osoby nadużywające od pewnego czasu wykorzystują obrazy pornograficzne do nękania kobiet. W 2019 roku badanie z Amerykańskiego Towarzystwa Psychologicznego odkrył, że jedna na 12 kobiet w pewnym momencie swojego życia staje się ofiarą pornografii zemsty. Badanie australijski rząd, patrząc na Australię, Wielką Brytanię i Nową Zelandię, stwierdził, że stosunek ten wynosi aż jeden na trzy. Deepfake porno zemsty nadaje zupełnie nowy wymiar nękaniu, ponieważ ofiary nie zdają sobie sprawy z istnienia takich obrazów.

Istnieje również wiele przypadków, w których deepfake były wykorzystywane do atakowania celebrytów i innych głośnych osób. Technologia po raz pierwszy stała się popularna w głębokich zakamarkach Internetu jako sposób na zamianę twarzy celebrytów na filmy porno i była wykorzystywana jako część kampanii nękających, aby uciszyć dziennikarki . Patrini mówi, że rozmawiał również z influencerami i youtuberami, którzy wysyłali ich głęboko sfałszowane zdjęcia pornograficzne bezpośrednio do ich sponsorów, co kosztowało ich ogromne napięcie emocjonalne i finansowe.

Patrini podejrzewa, że ​​te ukierunkowane ataki mogą się znacznie pogorszyć. On i jego koledzy badacze widzieli już postęp i rozprzestrzenianie się technologii. Na przykład odkryli kolejny ekosystem składający się z ponad 380 stron poświęconych tworzeniu i udostępnianiu wyraźnych deepfake na rosyjskiej platformie mediów społecznościowych VK. (Po opublikowaniu tego artykułu rzecznik prasowy VK wysłał do MIT Technology Review oświadczenie: „VK nie toleruje takich treści ani linków na platformie i blokuje społeczności, które je rozpowszechniają. Przeprowadzimy dodatkową kontrolę i zablokuje nieodpowiednie treści oraz społeczności). Naukowcy odkryli również, że algorytm rozbierania zaczyna być stosowany do filmów, takich jak nagranie modelek bikini spacerujących po wybiegu. W tej chwili algorytm musi być stosowany klatka po klatce — w tej chwili jest to bardzo szczątkowe, mówi Patrini. Ale jestem pewien, że ludzie to udoskonalą, a także uruchomią usługę licencyjną.

Niestety, wciąż jest niewiele sposobów na powstrzymanie tego rodzaju działalności, ale świadomość problemów rośnie. Firmy takie jak Facebook i Google oraz badacze, którzy tworzą narzędzia do tworzenia deepfake, zaczęli poważniej inwestować w środki zaradcze, takie jak automatyczne wykrywanie deepfake. W ubiegłym roku Kongres USA również wprowadził nowy rachunek to stworzyłoby mechanizm, w którym ofiary mogą dochodzić roszczeń prawnych z tytułu naruszenia reputacji.

W międzyczasie, mówi Patrini, Sensity będzie nadal śledzić i zgłaszać tego typu złośliwe deepfake oraz starać się lepiej zrozumieć motywacje tych, którzy je tworzą, oraz wpływ na życie ofiar. „W rzeczywistości dane, które udostępniamy w tym raporcie, to tylko wierzchołek góry lodowej”, mówi.

Aktualizacja: Do artykułu dodano oficjalne oświadczenie rosyjskiej platformy mediów społecznościowych VK.

ukryć