211service.com
W dziwnym nowym świecie bycia aktorem deep-fake
Panetta i Burgundia
W 2019 roku dwie artystki multimedialne, Francesca Panetta i Halsey Burgund, rozpoczęły realizację prowokacyjnego pomysłu. Technologia Deepfake wideo i audio rozwijała się równolegle, ale jeszcze nie została zintegrowana w celu uzyskania pełnego doświadczenia. Czy mogliby to zrobić w sposób, który zademonstrował pełny potencjał technologii, jednocześnie edukując ludzi o tym, jak można ją nadużywać?
Aby ożywić eksperyment, wybrali równie prowokacyjny temat: stworzyli alternatywna historia lądowania na Księżycu Apollo z 1969 r. . Przed wystartowaniem, autorzy przemówień prezydenta USA Richarda Nixona przygotowali dwie wersje jego narodowego przemówienia – jedną przeznaczoną W przypadku katastrofy księżyca , na wypadek, gdyby coś nie poszło zgodnie z planem. Prawdziwy Nixon na szczęście nigdy nie musiał go dostarczać. Ale głęboko podrobiony Nixon mógł.
Tak więc Panetta, dyrektor kreatywny w MIT Center for Virtuality, i Burgund, pracownik MIT Open Documentary Lab, nawiązały współpracę z dwoma firmami zajmującymi się sztuczną inteligencją. Cudowna sztuczna inteligencja poradziłby sobie z filmem deepfake i Badacz przygotuje dźwięk deepfake. Mając wszystkie techniczne komponenty na swoim miejscu, potrzebowali tylko ostatniej rzeczy: aktora, który zapewniłby przedstawienie.
Musieliśmy znaleźć kogoś, kto chciałby to zrobić, ponieważ to trochę dziwne pytanie, mówi Burgund. Kogoś, kto był bardziej elastyczny w myśleniu o tym, kim jest i robi aktor.
Chociaż deepfake istnieją już od wielu lat, casting i aktorstwo deepfake są stosunkowo nowe. Wczesne technologie deepfake nie były zbyt dobre, używane głównie w ciemnych zakątkach Internetu do zamiany celebrytów na filmy porno bez ich zgody. Ale ponieważ deepfake stały się coraz bardziej realistyczne, coraz więcej artystów i filmowców zaczęło ich używać w produkcjach o jakości telewizyjnej i reklamach telewizyjnych. Oznacza to zatrudnianie prawdziwych aktorów do tego czy innego aspektu spektaklu. Niektóre prace wymagają od aktora dostarczenia podstawowego materiału filmowego; inni potrzebują głosu.
Dla aktorów otwiera ekscytujące możliwości twórcze i zawodowe. Ale rodzi też wiele pytań etycznych. To jest tak nowe, że nie ma prawdziwego procesu ani niczego takiego, mówi Burgund. Chodzi mi o to, że po prostu coś zmyślaliśmy i wymachiwaliśmy.
Chcesz zostać Nixonem?
Pierwszą rzeczą, jaką zrobili Panetta i Burgund, było zapytanie obu firm, jakiego aktora potrzebują, aby deepfake działały. Ciekawe było nie tylko to, jakie były ważne kryteria, ale także jakie nie były , mówi Burgundia.
Jeśli chodzi o efekty wizualne, Canny AI specjalizuje się w zastępowaniu dialogów wideo, które wykorzystuje ruchy ust aktora do manipulowania ustami innej osoby w istniejącym materiale. Innymi słowy, aktor pełni rolę lalkarza, którego nigdy nie widać w finalnym produkcie. Wygląd, płeć, wiek i pochodzenie etniczne nie mają tak naprawdę znaczenia.
Ale jeśli chodzi o dźwięk, Respeecher, który przekształca jeden głos w drugi, powiedział, że łatwiej byłoby pracować z aktorem, który ma podobny rejestr i akcent jak Nixon. Uzbrojeni w tę wiedzę, Panetta i Burgund zaczęli publikować posty na różnych forach aktorskich i wysyłać e-maile do lokalnych grup aktorskich. Ich propozycja: Chcesz zostać Nixonem?
Aktor Lewis D. Wheeler spędził wiele dni w studiu szkoląc algorytmy deepfake, aby odwzorować swój głos i twarz na Nixona.
PANETTA I BURGUNDW ten sposób Lewis D. Wheeler, biały aktor z Bostonu, przez wiele dni siedział w studiu, słuchając i powtarzając fragmenty dźwięku Nixona. Były setki fragmentów, każdy trwający tylko kilka sekund, z których niektóre nie były nawet kompletnymi słowami, mówi.
Fragmenty zaczerpnięto z różnych przemówień Nixona, w większości z jego rezygnacji. Biorąc pod uwagę poważną naturę mowy o katastrofie księżyca, Respeecher potrzebował materiałów szkoleniowych, które utrzymałyby ten sam ponury ton.
Zadaniem Wheelera było ponowne nagranie każdego fragmentu własnym głosem, dopasowując go do dokładnego rytmu i intonacji. Te małe fragmenty zostały następnie wprowadzone do algorytmu Respeechera, aby odwzorować jego głos na głos Nixona. Mówi, że było to dość wyczerpujące i dość żmudne, ale też bardzo interesujące, budowanie tego cegła po cegle.
Ostatni deepfake Nixona wygłaszającego przemówienie „In Event of Moon Disaster”.
PANETTA I BURGUNDWizualna część deepfake'a była znacznie prostsza. W archiwalnym materiale, który miał zostać zmanipulowany, Nixon podał prawdziwy adres lądowania na Księżycu prosto w stronę kamery. Wheeler musiał tylko dostarczyć swój alternatywny, początek do końca, w ten sam sposób, aby ekipa produkcyjna mogła uchwycić ruchy jego ust pod odpowiednim kątem.
Tutaj jako aktor zaczął znajdować rzeczy bardziej znajome. Ostatecznie jego występ będzie jedyną jego częścią, która dostanie się do ostatecznego deepfake'a. To było najtrudniejsze i najbardziej satysfakcjonujące, mówi. W tym celu musiałem naprawdę zagłębić się w sposób myślenia, okej, o czym jest ta przemowa? Jak powiedzieć Amerykanom, że ta tragedia się wydarzyła?
Jak się czujemy?
Na pierwszy rzut oka Zach Math, a producent filmowy i reżyser , pracował nad podobnym projektem. Został wynajęty przez agencję kreatywną Mischief USA do reżyserii para reklam na kampanię dotyczącą praw do głosowania. Reklamy zawierałyby sfałszowane wersje przywódcy Korei Północnej Kim Dzong-una i prezydenta Rosji Władimira Putina. Ale znalazł się w środku czegoś zupełnie innego niż eksperyment Panetta i Burgunda.
W porozumieniu z artystą deepfake, Johnem Lee, zespół zdecydował się na wymianę twarzy z oprogramowanie open-source DeepFaceLab . Oznaczało to, że ostateczna reklama zawierałaby ciała aktorów, więc musieli rzucić wiarygodne dublety.
Reklama zawierałaby również prawdziwe głosy aktorów, dodając dodatkową uwagę na casting. Zespół chciał, aby liderzy deepfake mówili po angielsku, choć z autentycznymi północnokoreańskimi i rosyjskimi akcentami. Tak więc dyrektor castingu wyruszył na polowanie na aktorów płci męskiej, którzy przypominali każdego lidera budową i strukturą twarzy, pasowali do ich pochodzenia etnicznego i potrafili przekonująco podszyć się pod głos.
Proces szkolenia DeepFaceLab w celu wygenerowania twarzy Kim Jong-un.
ZŁOŚLIWE USADla Putina proces odlewania był stosunkowo łatwy. Dostępnych jest mnóstwo materiałów, na których Putin wygłasza różne przemówienia, dostarczając algorytmowi mnóstwo danych treningowych, aby głęboko sfałszować jego twarz, tworząc szereg wyrazów. W konsekwencji pojawiła się większa elastyczność w wyglądzie aktora, ponieważ deepfake mógł wykonać większość pracy.
Ale w przypadku Kim większość dostępnych filmów przedstawiała go w okularach, które zasłaniały mu twarz i powodowały awarię algorytmu. Zawężenie materiału szkoleniowego tylko do filmów bez okularów pozostawiło znacznie mniej próbek szkoleniowych, z których można się uczyć. Powstały deepfake nadal wyglądał jak Kim, ale jego ruchy twarzy wyglądały mniej naturalnie. Zamieniona twarzą na aktora wyciszyło jego ekspresję.
Aby temu przeciwdziałać, zespół zaczął przeglądać wszystkie taśmy castingowe aktorów przez DeepFaceLab, aby zobaczyć, który z nich wygląda najbardziej przekonująco. Ku ich zaskoczeniu zwycięzca fizycznie najmniej przypominał Kim, ale miał najbardziej wyrazisty występ.
Aktor wybrany do roli Kim Dzong Una miał najmniej fizyczne podobieństwo do dyktatora, ale najbardziej ekspresyjny występ.
Aby zająć się aspektami wyglądu Kim, których deepfake nie mógł odtworzyć, zespół polegał na makijażu, kostiumach i pracach postprodukcyjnych. Na przykład aktor był szczuplejszy niż Kim, więc kazali mu założyć gruby garnitur.
Math mówi, że kiedy przyszło do oceny jakości deepfake, nie chodziło o szczegóły wizualne, a bardziej o wrażenia. Nigdy nie było: „Czy to ucho wygląda dziwnie?”. To znaczy, były takie dyskusje, mówi. Ale zawsze było tak: „Usiądź wygodnie – jak się czujemy?”
Skutecznie działały jak ludzka tarcza
Pod pewnymi względami istnieje niewielka różnica między aktorstwem deepfake a aktorstwem CGI, a może aktorstwem głosowym w kreskówce. Twoja podobizna nie trafia do ostatecznej produkcji, ale wynik nadal ma Twój podpis i interpretację. Jednak castingi typu deepfake mogą również pójść w innym kierunku, gdy twarz osoby zostanie zamieniona na czyjś występ.
Stworzenie tego rodzaju fałszywej perswazji było zadaniem Ryana Laneya, artysty zajmującego się efektami wizualnymi, który pracował nad filmem dokumentalnym HBO 2020 Witamy w Czeczenii . Film opowiada o aktywistach, którzy ryzykują życiem, aby walczyć z prześladowaniami osób LGBTQ w republice rosyjskiej. Wielu z nich żyje w tajemnicy z obawy przed torturami i egzekucją.
Aby opowiedzieć ich historie, reżyser David France obiecał chronić ich tożsamość, ale chciał to zrobić bez utraty człowieczeństwa. Po przetestowaniu wielu rozwiązań jego zespół w końcu wylądował na deepfake'ach. Współpracował z Laney, która opracowała algorytm, który nakładał jedną twarz na drugą, zachowując przy tym wyraz twarzy tej drugiej.
Po lewej: Maxim Lapunov, główny bohater dokumentu, który ukazuje się publicznie w połowie filmu. Po prawej: latynoski aktywista LGBTQ, który zgłosił się na ochotnika jako tarcza Maxima.
TWOJE MEDIAProces castingowy był więc poszukiwaniem nie wykonawców, ale 23 osób, które chętnie użyczą twarzy. Francja ostatecznie poprosiła aktywistów LGBTQ o wolontariat jako przykrywkę. Doszedł do tego nie od tego, kto jest najlepszym aktorem, ale kim są ludzie zainteresowani sprawą, mówi Laney, ponieważ skutecznie działali jak ludzka tarcza.
Zespół śledził aktywistów poprzez wydarzenia i posty na Instagramie, na podstawie ich wyglądu. Każda twarz na okładce musiała wyglądać wystarczająco różnie się od osoby zamaskowanej, a jednocześnie odpowiadać pewnym cechom. Na przykład zarost, linia żuchwy i długość nosa musiały być z grubsza dopasowane, a każda para musiała być w przybliżeniu w tym samym wieku, aby twarz osoby z okładki wyglądała naturalnie na ciele oryginalnej osoby.
Po lewej: zdemaskowana twarz Maxima. Po prawej: Maxim ze swoją okładką deepfake.
TWOJE MEDIAJednak zespół nie zawsze pasował do pochodzenia etnicznego lub płci. Główny bohater, Maxim Lapunov, który jest biały, był osłaniany przez latynoskiego aktywistę, a postać kobieca była chroniona przez aktywistę, który jest nonkonformistyczny płciowo.
Podczas całego procesu Francja i Laney upewniły się, że uzyskali w pełni świadomą zgodę wszystkich stron. Laney mówi, że bohaterowie filmu musieli przyjrzeć się pracy, zanim David ją wypuścił. Każdy musiał podpisać się na własnej okładce, aby upewnić się, że czuli się komfortowo.
To po prostu skłania ludzi do myślenia
Podczas gdy profesjonalne deepfake przesunęły granice sztuki i kreatywności, ich istnienie rodzi również trudne pytania etyczne. Obecnie nie ma prawdziwych wytycznych dotyczących na przykład oznaczania deepfake lub granic między satyrą a dezinformacją.
Na razie artyści i filmowcy polegają na osobistym poczuciu dobra i zła. Na przykład France i Laney dodali na początku filmu zastrzeżenie, że niektóre postacie zostały przebrane cyfrowo w celu ich ochrony. Dodali również miękkie krawędzie zamaskowanym osobnikom, aby je odróżnić. Nie chcieliśmy nikogo ukrywać, nie mówiąc o tym publiczności, mówi Laney.
Stephanie Lepp, artystka i producentka, która tworzy deepfake do komentarzy politycznych, podobnie zaznacza swoje filmy z góry, aby jasno powiedzieć, że są fałszywe. W jej serii Głębokie rachuby , który wyobraża sobie potężne postacie, takie jak Mark Zuckerberg, przepraszające za swoje czyny, użyła również aktorów głosowych zamiast głębokiego dźwięku, aby jeszcze bardziej wyróżnić projekt jako satyryczny i nie zwodniczy.
Inne projekty były bardziej nieśmiałe, takie jak Barnaby Francis, artysta-aktywista działający pod pseudonimem Bill Posters. Przez lata Franciszek fałszował polityków takich jak Boris Johnson i gwiazdy takie jak Kim Kardashian , wszystko w imię edukacji i satyry. Niektóre filmy są jednak oznaczone tylko zewnętrznie – na przykład w podpisie, gdy Francis publikuje je na Instagramie. Wyrwane z tego kontekstu, ryzykują rozmycie sztuki i rzeczywistości, co czasem doprowadziło go do… podstępne terytorium .
Zobacz ten post na InstagramiePost udostępniony przez Plakaty z rachunkiem (@bill_posters_uk) 1 czerwca 2019 r. o 3:47 czasu PDT
Zobacz ten post na InstagramiePost udostępniony przez Plakaty z rachunkiem (@bill_posters_uk) 11 listopada 2019 o 23:55 PST
Istnieje również kilka zasad dotyczących osób, którymi można manipulować obrazami i mową – i niewiele zabezpieczeń dla aktorów za kulisami. Do tej pory większość profesjonalnych deepfake'ów opierała się na sławnych osobach i była tworzona z jasnymi, konstruktywnymi celami, więc są one prawnie chronione w USA na mocy przepisów satyrycznych. Jednak w przypadku deepfake Putina i Kima Mischief aktorzy pozostali anonimowi ze względów bezpieczeństwa osobistego, jak powiedział zespół, z powodu kontrowersyjnego charakteru manipulowania wizerunkami dyktatorów.
Wiedząc, w jaki sposób amatorskie deepfake były wykorzystywane do wykorzystywania, manipulowania i nękania kobiet, niektórzy twórcy martwią się również, w jakim kierunku mogą pójść sprawy. Jest wielu ludzi, którzy nie przejmują się etycznie lub moralnie tym, kim są ich klienci, gdzie może się to pojawić i w jakiej formie, mówi Francis.
Jednak pomimo tych trudnych pytań, wielu artystów i filmowców jest przekonanych, że deepfake powinny pozostać. Stosowana etycznie technologia poszerza możliwości sztuki i krytyki, prowokacji i perswazji. To tylko skłania ludzi do myślenia, mówi Francis. To idealna forma sztuki dla tego rodzaju absurdalnych, niemal surrealistycznych czasów, których doświadczamy.