Najlepszy na świecie artysta deepfake zmaga się ze stworzonym przez siebie potworem

Jest czerwiec w Dalian w Chinach, mieście na półwyspie wystającym w Morze Żółte, kilkaset mil od Pekinu w jednym kierunku i od granicy z Koreą Północną w drugim. Hao Li stoi w przepastnym, kanciastym budynku, który z łatwością może być legowiskiem złoczyńcy z Bonda. Na dworze jest upał, a ochrona jest ciasna. Coroczna konferencja Światowego Forum Ekonomicznego jest w mieście.

W pobliżu Li politycy i dyrektorzy generalni z całego świata na zmianę wchodzą do budki. Wewnątrz śmieją się, gdy ich twarz zmienia się w twarz sławnej osoby: Bruce'a Lee, Neila Armstronga lub Audrey Hepburn. Sztuczka dzieje się w czasie rzeczywistym i działa prawie bezbłędnie.

Niezwykła maszyna do zamiany twarzy nie została stworzona tylko po to, by odwrócić uwagę i rozbawić bogatych i potężnych na świecie. Li chce, aby ci potężni ludzie rozważyli konsekwencje, jakie filmy przygotowane za pomocą sztucznej inteligencji – deepfake – mogą mieć dla nich i dla reszty z nas.

Dezinformacja od dawna jest popularnym narzędziem sabotażu geopolitycznego, ale media społecznościowe wstrzyknęły paliwo rakietowe do rozpowszechniania fałszywych wiadomości. Gdy fałszywy materiał wideo jest tak łatwy do zrobienia, jak fałszywe artykuły informacyjne, jest to wirtualna gwarancja, że ​​zostanie on wykorzystany. Chcesz wpłynąć na wybory, zrujnować karierę i reputację wroga lub wywołać przemoc etniczną? Trudno wyobrazić sobie bardziej skuteczny pojazd niż klip, który… wygląda autentyczne, rozprzestrzeniające się lotem błyskawicy za pośrednictwem Facebooka, WhatsAppa lub Twittera, szybciej niż ludzie mogą się zorientować, że zostali oszukani.

Jako pionier cyfrowego fałszerstwa Li martwi się, że deepfake to dopiero początek. Mimo że pomógł zapoczątkować erę, w której naszym oczom nie zawsze można ufać, chce wykorzystać swoje umiejętności, aby zrobić coś z nadciągającym problemem wszechobecnego, niemal idealnego oszustwa wideo.

Pytanie brzmi, czy może już być za późno?

Przepisywanie rzeczywistości

Li nie jest typowym deepfakerem. Nie czai się na Reddicie zamieszczanie fałszywego porno lub powtórki znanych filmów zmodyfikowany do gwiazdy Nicolas Cage . Spędził swoją karierę opracowując najnowocześniejsze techniki, aby łatwiej i przekonująco wykuwać twarze. Zmierzył się również z niektórymi z najsłynniejszych twarzy na świecie dla współczesnych hitów kinowych, oszukując miliony ludzi, by uwierzyły w uśmiech lub mrugnięcie, których tak naprawdę nigdy nie było. Pewnego popołudnia rozmawiając przez Skype ze swojego biura w Los Angeles, od niechcenia wspomina, że ​​Will Smith wpadł niedawno na film, nad którym pracuje.

Aktorzy często przychodzą do laboratorium Li na Uniwersytecie Południowej Kalifornii (USC), aby cyfrowo zeskanować swoje podobizny. Umieszczono je w sferycznym szeregu świateł i kamer widzenia maszynowego, aby uchwycić kształt ich twarzy, mimikę oraz odcień i teksturę skóry aż do poziomu poszczególnych porów. Zespół efektów specjalnych pracujący nad filmem może następnie manipulować scenami, które już zostały nakręcone, a nawet dodać aktora do nowego w postprodukcji.

Dzięki uprzejmości Hao Li

Takie cyfrowe oszustwo jest obecnie powszechne w wysokobudżetowych filmach. Tła są często renderowane cyfrowo i często twarz aktora jest wklejana na twarz kaskadera w scenie akcji. Doprowadziło to do zapierających dech w piersiach momentów dla kinomanów, na przykład gdy nastoletnia księżniczka Leia pojawiła się na krótko pod koniec filmu Łotr 1. Gwiezdne wojny – historie , mimo że aktorka, która grała Leię, Carrie Fisher, miała prawie 60 lat, kiedy kręcono film.

Aby te efekty wyglądały dobrze, zwykle potrzeba znacznej wiedzy i milionów dolarów. Ale dzięki postępom w sztucznej inteligencji zamiana dwóch twarzy w filmie jest teraz prawie trywialna, przy użyciu niczego potężniejszego niż laptop. Przy odrobinie dodatkowej wiedzy, możesz sprawić, by polityk, dyrektor generalny lub osobisty wróg powiedział lub zrobił cokolwiek zechcesz (jak w filmie na początku historii, w którym Li odwzorowuje wizerunek Elona Muska na mojej twarzy).

Historia oszustw

Osobiście Li wygląda bardziej cyberpunkowo niż Sunset Strip. Jego włosy są ogolone w irokez, który opada z jednej strony i często nosi czarną koszulkę i skórzaną kurtkę. Kiedy mówi, ma dziwny zwyczaj mrugania w sposób, który zdradza późne noce spędzane w ciepłym blasku ekranu komputera. Nie wstydzi się zachwalać błyskotliwości swojej technologii ani tego, co ma w swoich pracach. Podczas rozmów lubi wyciągać smartfona, żeby pokazać coś nowego.

Dzięki uprzejmości Hao Li

Li dorastał w Saarbrücken w Niemczech, jako syn tajwańskich imigrantów. Uczęszczał do francusko-niemieckiej szkoły średniej i nauczył się biegle mówić w czterech językach (francuskim, niemieckim, angielskim i mandaryńskim). Pamięta moment, w którym postanowił spędzić czas zacierając granicę między rzeczywistością a fantazją. Był rok 1993, kiedy w filmie Stevena Spielberga ujrzał ogromne drewno dinozaura Park Jurajski . Gdy aktorzy wpatrywali się w stworzoną komputerowo bestię, wówczas 12-letnia Li pojęła, co technologia właśnie umożliwiła. Zdałem sobie sprawę, że możesz teraz stworzyć praktycznie wszystko, nawet rzeczy, które nawet nie istnieją – wspomina.

Li zrobił doktorat na ETH Zurich, prestiżowym uniwersytecie technicznym w Szwajcarii, gdzie jeden z jego doradców pamięta go zarówno jako genialnego studenta, jak i niepoprawnego dowcipnisia. Filmy towarzyszące pracom akademickim czasami zawierały niezbyt pochlebne karykatury jego nauczycieli.

Bracia Paula Walkera dostarczyli szablon dla jego cyfrowej podobizny w Furious 7. Weta Digital

Wkrótce po dołączeniu do USC Li stworzył technologię śledzenia twarzy, która posłużyła do stworzenia cyfrowej wersji nieżyjącego już aktora Paula Walkera do filmu akcji Wściekły 7 . To było duże osiągnięcie, ponieważ Walker, który zginął w wypadku samochodowym w połowie zdjęć, nie został wcześniej zeskanowany, a jego postać musiała pojawić się w tak wielu scenach. Technologia Li została wykorzystana do wklejenia twarzy Walkera na ciała jego dwóch braci, którzy na zmianę grali jego miejsce w ponad 200 scenach.

Film, który zarobił 1,5 miliarda dolarów w kasie, był pierwszym, który tak bardzo polegał na odtworzonej cyfrowo gwieździe. Li wspomina wirtualną rolę Walkera, gdy mówi o tym, jak dobre stają się oszustwa wideo. Nawet ja nie potrafię powiedzieć, które są fałszywe, mówi, kręcąc głową.

Wirtualnie ty

W 2009 roku, mniej niż dekadę przed pojawieniem się deepfake, Li opracował sposób na uchwycenie twarzy osoby w czasie rzeczywistym i wykorzystanie jej do obsługi wirtualnej marionetki. Wiązało się to z wykorzystaniem najnowszych czujników głębokości i nowego oprogramowania do mapowania tej twarzy i jej ekspresji na maskę wykonaną z odkształcalnego materiału wirtualnego.

Przykład śledzenia twarzy na podstawie markerów. Technologie Faceware

Co najważniejsze, podejście to działało bez konieczności dodawania dziesiątek znaczników śledzenia ruchu do twarzy osoby, co jest standardową techniką branżową do śledzenia ruchu twarzy. Li przyczynił się do rozwoju oprogramowania o nazwie Faceshift, które później zostało skomercjalizowane jako spinoff uniwersytecki. Firma została przejęta przez Apple w 2015 roku, a jej technologia została wykorzystana do stworzenia oprogramowania Animoji, które pozwala zamienić się w jednorożca lub gadającą kupę kupy na najnowszych iPhone'ach.

Li i jego uczniowie opublikowali dziesiątki artykułów na takie tematy, jak awatary, które odzwierciedlają ruchy całego ciała, bardzo realistyczne wirtualne włosy i symulowana skóra, która rozciąga się tak, jak robi to prawdziwa skóra. W ostatnich latach jego grupa czerpała z postępów w uczeniu maszynowym, a zwłaszcza w uczeniu głębokim , sposobie uczenia komputerów, aby wykonywały różne czynności przy użyciu dużej symulowanej sieci neuronowej. Jego badania znalazły również zastosowanie w medycynie, pomagając opracować sposoby śledzenia guzów wewnątrz ciała oraz modelowania właściwości kości i tkanek.

Dziś Li dzieli swój czas między nauczanie, doradztwo dla studiów filmowych i prowadzenie nowego startupu, Pinscreen. Do tworzenia wirtualnych awatarów firma wykorzystuje bardziej zaawansowaną sztuczną inteligencję niż stoi za deepfake. Jego aplikacja zamienia pojedyncze zdjęcie w fotorealistyczny awatar 3D za kilka sekund. Wykorzystuje algorytmy uczenia maszynowego, które zostały przeszkolone do mapowania wyglądu twarzy na modelu 3D przy użyciu wielu tysięcy nieruchomych obrazów i odpowiednich skanów 3D. Proces jest ulepszany za pomocą tak zwanych generatywnych sieci adwersarzy lub GAN (które nie są używane w przypadku większości deepfake). Oznacza to, że jeden algorytm tworzy fałszywe obrazy, podczas gdy inny ocenia, czy są fałszywe, co stopniowo poprawia fałszerstwo. Możesz kazać swojemu awatarowi wykonywać głupie tańce i przymierzać różne stroje, a także kontrolować mimikę awatara w czasie rzeczywistym, używając własnej twarzy za pośrednictwem aparatu w smartfonie.

Były pracownik, Iman Sadeghi, pozywa Pinscreen, twierdząc, że sfałszował prezentację technologii na konferencji SIGGRAPH w 2017 roku. Przegląd technologii MIT widział listy od kilku ekspertów i organizatorów SIGGRAPH, odrzucające te roszczenia.

Pinscreen współpracuje z kilkoma znanymi sprzedawcami odzieży, którzy postrzegają tę technologię jako sposób na umożliwienie ludziom przymierzania odzieży bez konieczności odwiedzania fizycznego sklepu. Technologia ta może być również przydatna do wideokonferencji, rzeczywistości wirtualnej i gier. Wyobraź sobie postać z Fortnite, która nie tylko wygląda jak ty, ale także śmieje się i tańczy w ten sam sposób.

Awatary wykonane za pomocą aplikacji Pin Screen. Dzięki uprzejmości Hao Li

Jednak pod cyfrową głupotą kryje się ważny trend: sztuczna inteligencja szybko sprawia, że ​​zaawansowana manipulacja obrazem staje się domeną smartfona, a nie pulpitu. FaceApp , opracowany przez firmę z Sankt Petersburga w Rosji, przyciągnął miliony użytkowników i wywołał ostatnio kontrowersje, oferując sposób na zmianę twarzy jednym kliknięciem w telefonie . Możesz dodać uśmiech do zdjęcia, usunąć przebarwienia lub zepsuć swój wiek lub płeć (lub kogoś innego). Dziesiątki innych aplikacji oferują podobne manipulacje za jednym kliknięciem.

Nie wszyscy są podekscytowani perspektywą wszechobecności tej technologii. Li i inni w zasadzie próbują tworzyć deepfake z jednego obrazu, mobilne i działające w czasie rzeczywistym, mówi Sam Gregory, dyrektor Witness, organizacji non-profit zajmującej się wideo i prawami człowieka. To poziom zagrożenia, który mnie martwi, kiedy [staje się] czymś, co jest trudniejsze do kontrolowania i bardziej dostępne dla szeregu aktorów.

Na szczęście większość deepfake'ów wciąż wygląda trochę niewłaściwie. Migocząca twarz, niepewne oko lub dziwny odcień skóry sprawiają, że łatwo je zauważyć. Ale tak jak ekspert może usunąć takie wady, postępy w sztucznej inteligencji obiecują ich automatyczne wygładzenie, dzięki czemu fałszywe filmy będą zarówno prostsze do tworzenia, jak i trudniejsze do wykrycia.

Nawet gdy Li ściga się z cyfrowymi fałszerstwami, niepokoi go również potencjalna szkoda. Stoimy przed problemem, mówi.

Łapanie oszustów

Politycy amerykańscy są szczególnie zaniepokojeni tym, jak deepfake mogą być wykorzystywane do rozpowszechniania bardziej przekonujących fałszywych wiadomości i dezinformacji przed przyszłorocznymi wyborami prezydenckimi. Na początku tego miesiąca Komisja ds. Wywiadu Izby zapytała Facebooka, Google i Twittera, jak planują poradzić sobie z zagrożeniem deepfake. Każda firma stwierdziła, że ​​pracuje nad problemem, ale żadna nie zaoferowała rozwiązania.

DARPA, dobrze finansowana agencja badawcza armii amerykańskiej, również martwi się wzrostem liczby manipulacji cyfrowych. W 2016 r., zanim pojawiły się deepfake, DARPA uruchomiła program o nazwie Media Forensics lub MediFor, aby zachęcić ekspertów ds. kryminalistyki cyfrowej do opracowania zautomatyzowanych narzędzi do przechwytywania zmanipulowanych obrazów. Ekspert może skorzystać z szeregu metod wykrywania fałszerstw fotograficznych, od analizy niespójności w danych pliku lub właściwości określonych pikseli po poszukiwanie fizycznych niespójności, takich jak niewłaściwie umieszczony cień lub nieprawdopodobny kąt.

MediFor jest obecnie w dużej mierze skoncentrowany na wykrywaniu deepfake. Wykrywanie jest zasadniczo trudniejsze niż tworzenie, ponieważ algorytmy AI mogą nauczyć się ukrywać rzeczy, które rozdają podróbki. Wczesne metody wykrywania deepfake obejmują śledzenie nienaturalnych mrugnięć i dziwnych ruchów ust. Ale najnowsze deepfake nauczyły się już automatycznie wygładzać takie usterki.

Na początku tego roku Matt Turek, kierownik programu DARPA w MediFor, poprosił Li o zademonstrowanie swoich podróbek badaczom MediFor. Doprowadziło to do współpracy z Hany Farid, profesorem na Uniwersytecie Kalifornijskim w Berkeley i jednym z czołowych światowych autorytetów w dziedzinie kryminalistyki cyfrowej. Para jest teraz zaangażowana w cyfrową grę w kotka i myszkę, w której Li opracowuje deepfake, aby Farid mógł je złapać, a następnie udoskonala je, aby uniknąć wykrycia.

Farid, Li i inni ostatnio wydał artykuł nakreślając nowy, skuteczniejszy sposób wykrywania deepfake. Polega na wytrenowaniu algorytmu uczenia maszynowego, który rozpoznaje dziwactwa wyrazu twarzy i ruchów głowy konkretnej osoby. Jeśli po prostu wkleisz czyjś wizerunek na inną twarz, te cechy nie zostaną przeniesione. Stworzenie deepfake’a, który zawiera te cechy, wymagałoby dużej mocy komputera i danych treningowych – tj. obrazów lub wideo osoby. Ale pewnego dnia będzie to możliwe. Rozwiązania techniczne będą się dalej poprawiać po stronie defensywnej – mówi Turek. Ale czy to będzie idealne? Wątpię.

Piksel doskonały

Po powrocie do Dalian jasne jest, że ludzie zaczynają budzić się w niebezpieczeństwie deepfake. Rankiem przed moim spotkaniem z Li europejski polityk wszedł do budki zamiany twarzy tylko po to, by powstrzymać go jego opiekunowie. Obawiali się, że system może szczegółowo uchwycić jego podobieństwo, co ułatwi komuś tworzenie fałszywych klipów.

Pracownik Pinscreen prezentuje system wymiany twarzy na żywo na konferencji Światowego Forum Ekonomicznego w Dalian w Chinach w lipcu. Dzięki uprzejmości Hao Li

Obserwując ludzi korzystających z kabiny, Li mówi mi, że nie ma technicznych powodów, dla których deepfake powinny być wykrywalne. Mówi, że filmy to tylko piksele o określonej wartości koloru.

Doprowadzenie ich do perfekcji to tylko kwestia czasu i zasobów, a jak pokazuje jego współpraca z Faridem, cały czas jest coraz łatwiej. Jesteśmy świadkami wyścigu zbrojeń między manipulacjami cyfrowymi a możliwością ich wykrywania, mówi, z postępami algorytmów opartych na sztucznej inteligencji, które katalizują obie strony.

Zła wiadomość, myśli Li, jest taka, że ​​w końcu wygra. Uważa, że ​​za kilka lat można by stworzyć niewykrywalne deepfake jednym kliknięciem. Kiedy nadejdzie ten punkt, mówi, musimy mieć świadomość, że nie każdy film, który oglądamy, jest prawdziwy.

ukryć