Algorytm ten automatycznie wykrywa zamiany twarzy w filmach

Od niedawna możliwa stała się możliwość wykorzystania twarzy lub wyrazu jednej osoby i nałożenia jej na film innej osoby. W szczególności na stronach takich jak Reddit i 4Chan pojawiły się filmy pornograficzne zwane deepfakes, pokazujące twarze znanych osób nałożone na ciała aktorów.

Zjawisko to ma istotne implikacje. Przynajmniej może podważyć reputację osób, które padły ofiarą tego rodzaju fałszerstwa. Stwarza to problemy dla biometrycznych systemów identyfikacji. Grozi to podważeniem zaufania publicznego do wszelkiego rodzaju filmów.

Dlatego pilnie potrzebny jest szybki i dokładny sposób na wykrycie tych filmów.

Które z tych par obrazów są fałszerstwami? Odpowiedź poniżej.

Dołącz do Andreasa Rosslera z Uniwersytetu Technicznego w Monachium w Niemczech i jego współpracowników, którzy opracowali system głębokiego uczenia się, który może automatycznie wykrywać filmy z zamianą twarzy. Nowa technika może pomóc w identyfikowaniu sfałszowanych filmów wideo, gdy są one publikowane w sieci.

Ale praca ma też żądło w ogon. Ta sama technika głębokiego uczenia, która umożliwia wykrywanie filmów ze zamianą twarzy, może być również wykorzystana do poprawy jakości zamiany twarzy – co może utrudnić ich wykrycie.

Nowa technika opiera się na algorytmie głębokiego uczenia, którego Rossler i spółka wyszkolili, aby wykrywać zamiany twarzy. Algorytmy te mogą uczyć się tylko z ogromnych, opatrzonych adnotacjami zestawów danych dobrych przykładów, które po prostu nie istniały do ​​tej pory.

Zespół zaczął więc od stworzenia dużego zbioru danych filmów z zamianą twarzy i ich oryginałów. Wykorzystują dwa rodzaje zamiany twarzy, które można łatwo wykonać za pomocą oprogramowania o nazwie Face2Face. (To oprogramowanie zostało stworzone przez niektórych członków tego zespołu.)

Pierwszy rodzaj zamiany twarzy polega na nałożeniu twarzy jednej osoby na ciało innej osoby, tak aby nabrała ona wyrazu twarzy. Drugi pobiera wyrazy twarzy z jednej twarzy i modyfikuje drugą twarz, aby je pokazać.

Zespół zrobił to z ponad 1000 filmów, tworząc bazę danych zawierającą około pół miliona zdjęć, na których twarze zostały zmanipulowane za pomocą najnowocześniejszego oprogramowania do edycji twarzy. Nazwali to bazą danych FaceForensics.

Rozmiar tej bazy danych jest znaczącym ulepszeniem w stosunku do tego, co było wcześniej dostępne. Wprowadzamy nowy zestaw danych zmanipulowanych filmów, który przewyższa wszystkie istniejące publicznie dostępne zestawy danych kryminalistycznych o rzędy wielkości, mówi Rossler i spółka.

Następnie zespół wykorzystuje bazę danych do trenowania algorytmu głębokiego uczenia się, aby rozpoznać różnicę między zamianą twarzy a ich niezmienionymi oryginałami. Nazywają powstały algorytm XceptionNet.

Na koniec porównują nowe podejście z innymi technikami wykrywania fałszerstw.

Wyniki są imponujące. XceptionNet wyraźnie przewyższa inne techniki wykrywania filmów, które zostały zmanipulowane, nawet gdy filmy zostały skompresowane, co znacznie utrudnia zadanie. Rossler i spółka ustalili solidną podstawę wyników wykrywania manipulacji na twarzy za pomocą nowoczesnych architektur głębokiego uczenia się.

Powinno to ułatwić wykrywanie sfałszowanych filmów wideo przesyłanych do sieci. Jednak zespół doskonale zdaje sobie sprawę z kociej i mysiej natury wykrywania fałszerstw: gdy tylko pojawi się nowa technika wykrywania, rasa zaczyna szukać sposobu na jej oszukanie.

Rossler i spółka mają naturalną przewagę, odkąd opracowali XceptionNet. Używają go więc do wykrycia charakterystycznych oznak, że wideo zostało zmanipulowane, a następnie wykorzystują te informacje do udoskonalenia fałszerstwa, co jeszcze bardziej utrudnia jego wykrycie.

Okazuje się, że proces ten poprawia wizualną jakość fałszerstwa, ale nie ma większego wpływu na zdolność XceptionNet do jego wykrycia. Nasz rafiner przede wszystkim poprawia jakość wizualną, ale tylko nieznacznie utrudnia wykrywanie fałszerstw w przypadku metody głębokiego uczenia wyszkolonej dokładnie na sfałszowanych danych wyjściowych.

To ciekawa praca, ponieważ wprowadza zupełnie nowy sposób usprawnienia procesu manipulacji obrazem. Uważamy, że ta wzajemna zależność między manipulacją a wykrywaniem jest niezwykle ekscytującą drogą do dalszych prac, mówią.

Nr ref.: arxiv.org/abs/1803.09179 : FaceForensics: wielkoskalowy zestaw danych wideo do wykrywania fałszerstw na ludzkich twarzach

Odpowiedź: Górny obraz w każdej parze jest prawdziwy.

ukryć