Nowe oblicze Hollywood

Na szczycie wzniesionego pociągu przejeżdżającego przez Downtown zamaskowany mężczyzna w czerwono-niebieskim garniturze ma kłopoty.

Nie tylko walczy z szalonym naukowcem, który próbuje go zabić za pomocą robotycznych macek, ale także musi uratować pasażerów w pociągu. To wszystko to dzień pracy superbohatera Petera Parkera, znanego również jako Spider-Man – ale oznacza to miesiące pracy dla elitarnego zespołu guru grafiki.

Ta historia była częścią naszego wydania z września 2004 r.

• Zobacz resztę numeru
• Subskrybuj

Ta sekwencja akcji z megahitu Spider-Man 2 olśniła tego lata miliony kinomanów. Przyjrzyj się bliżej złoczyńcy, Doktorowi Octopusowi (w tej roli aktor Alfred Molina), a zobaczysz, jak uśmiecha się maniakalnie i krzyczy, spacerując po dachu i bokach pociągu. W dalszej części sceny Spider-Man (Tobey Maguire) traci maskę, gdy opiera się o przód pociągu, zatrzymując go z piskiem opon. Jego szalona mimika wydaje się przekonująco naturalna.

Przy całym szybkim przechodzeniu między obrazami superbohatera i złoczyńcy publiczność prawdopodobnie nie podejrzewa, że ​​twarze i postacie pojawiające się na ekranie przez większość czasu nie są prawdziwe. Są to raczej cyfrowe mikstury stworzone w komputerze w Sony Pictures Imageworks w Culver City w Kalifornii.

Dotarliśmy do punktu, w którym możemy zrobić wszystko, co jest generowane komputerowo. Wszystko, od rozbitego szkła w pociągu po wszystkie budynki, tory i ludzi, mówi Mark Sagar, kierownik ds. grafiki w Spider-Man 2 i ekspert Imageworks od cyfrowych ludzkich twarzy. Wskazuje na sekwencję pociągu odtwarzaną na ekranie komputera. Zobacz, co robi kamera. Tutaj jedzie szybko wzdłuż pociągu, potem pod wykonawcami, potem przed nimi, potem szerokie ujęcie. Jak mogłeś to zrobić prawdziwym aparatem? Ale cyfrowe twarze ludzi to ostatni, kluczowy element tej układanki. W przeszłości łączenie nagrań prawdziwych aktorów w scenę cyfrową wymagało prawdziwych kamer, trudnej pracy kaskaderskiej i dostosowywania, aby dopasować wygląd rzeczywistego i cyfrowego obrazu; możliwość zrobienia wszystkiego, co zostało wygenerowane komputerowo, łącznie z ludzkimi twarzami, otwiera bogactwo kreatywnych możliwości.

Fotorealistyczne twarze cyfrowe – takie, które mogą uchodzić za prawdziwe na zdjęciach lub na dużym ekranie – to jedna z ostatnich granic grafiki komputerowej. Do niedawna twarze cyfrowe wyglądały na fałszywe, gdy się uważnie przyjrzały, i dlatego zostały zdegradowane do szybkich cięć i ujęć w tle. Problem polega na tym, że jesteśmy niezwykle wrażliwi na to, jak powinny wyglądać ludzkie twarze; o wiele łatwiej jest oszukać ludzi za pomocą generowanego komputerowo T. rexa niż za pomocą cyfrowego człowieka. Ale postępy w renderowaniu skóry, oświetlaniu scen cyfrowych i analizowaniu materiału filmowego prawdziwych aktorów w celach referencyjnych pozwalają teraz artystom i programistom kontrolować teksturę i ruch każdego maleńkiego fragmentu pikseli na skomputeryzowanej twarzy. Zespół Sony ma nadzieję, że publiczność nie będzie w stanie odróżnić Tobeya Maguire'a od jego cyfrowego sobowtóra – być może po raz pierwszy udało się osiągnąć taką prawdomówność.

Stawka jest ogromna. Efekty cyfrowe to biznes wart miliardy dolarów i szybko się rozwija; w dzisiejszych czasach budżet typowego hitu filmowego może wynosić 150 milionów dolarów, z czego połowa trafia do firm zajmujących się efektami. Rzeczywiście, Spider-Man 2 to tylko jeden z przykładów coraz częstszego wykorzystywania przez Hollywood najnowocześniejszych badań graficznych do tworzenia lepszych aktorów cyfrowych, od kaskaderów Neo i wielu agentów Smithów w filmach Matrix po Golluma w serii Władca Pierścieni . Doszło do punktu, w którym branża żartuje z zastępowania aktorów komputerami (założenie filmu S1m0ne z 2002 roku). A Sony Pictures Imageworks, założona w 1992 roku i mająca na swoim koncie ponad 40 filmów fabularnych, jest w awangardzie domów efektowych, które walczą o biznes wielkich studiów (patrz Making Faces).

Jednak prawdziwą korzyścią aktorów cyfrowych nie jest zastępowanie tych na żywo: dostarczają one sceny, które zabierają widzów w miejsca, do których nie mógłby udać się prawdziwy aktor lub konfiguracja kamery. Daje reżyserom większą elastyczność i pozwala im wykonywać czynności, których nie mogą zrobić z prawdziwymi kaskaderami, mówi Scott Stokdyk, kierownik ds. efektów wizualnych w Imageworks odpowiedzialny za serię Spider-Man. Stokdyk mówi, że w przeszłości reżyserzy i montażyści w zasadzie rozmasowywali cięcie wokół różnych szybkich akcji i kątów kamery, aby przekazać historię. Teraz nie mają takich ograniczeń. W ten sposób uwolnieni reżyserzy mogą śledzić syntetycznych aktorów, którzy krążą wokół drapaczy chmur i unikają kul w zwolnionym tempie. Co więcej, aktorzy mogą być cyfrowo postarzani lub odstarzeni, bez konieczności spędzania godzin na makijażu. Dawno nieżyjące gwiazdy filmowe mogłyby nawet zostać wskrzeszone cyfrowo.

A filmy to dopiero początek. Techniki tworzenia cyfrowych ludzi przesuwają szersze granice grafiki komputerowej i interfejsów. Wysiłki te mogą stworzyć uderzająco realistyczne symulacje szkoleń medycznych, realistyczne awatary do e-maili i czatów internetowych, a wkrótce znacznie bardziej przekonujące postacie w grach i filmach interaktywnych. Technologia, mówi Sagar, jest absolutnie gotowa na czas największej oglądalności.

Wirtualne oblicze

Mark Sagar zawsze był rozdarty między sztuką a nauką. Po studiach spędził trzy lata podróżując po świecie, szkicując portrety. Ale przeciąganie liny sprawiło, że wrócił do szkoły podyplomowej w swojej rodzinnej Nowej Zelandii, aby studiować inżynierię. Nigdy nie sądziłem, że spędzę całe lata na badaniu ludzkiej twarzy, przyznaje, siedząc w swoim biurze w Imageworks, otoczony książkami i papierami o percepcji wizualnej.

Słyszenie, jak Sagar opisuje ludzką twarz jako wielokanałowe urządzenie sygnalizacyjne, sugeruje, że wygrała jego nauka i inżynieria. Zrozumienie nauki kryjącej się za twarzami, jak mówi, pozwala mu skuteczniej wyświetlać przekaz postaci cyfrowej na ekranie. Wyrażenia takie jak spuszczone oczy, zmarszczone brwi lub zakrzywione usta oznaczają stan emocjonalny osoby i dają wskazówki dotyczące jej zamiarów.

Droga Sagara do Hollywood otworzyła się niemal przez przypadek. W połowie lat dziewięćdziesiątych jako doktorant na Uniwersytecie w Auckland i jako postdoktor na MIT opracował symulacje komputerowe ludzkiego oka i twarzy, które mogą pomóc lekarzom w szkoleniu w nauce technik chirurgicznych. Jego symulacje wyglądały tak realistycznie, że zespół przedsiębiorców dot-comów przekonał go do współtworzenia startupu graficznego o nazwie LifeFX w Newton w stanie Massachusetts. Jego misja: komercjalizacja oprogramowania, z którego każdy, od filmowców po firmy internetowe i dostawców poczty e-mail, może tworzyć fotorealistyczne podobizny ludzi.

Sagar wkrótce stał się wiodącym autorytetem w dziedzinie cyfrowych twarzy dla rozrywki. W 1999 roku przyjechał do Los Angeles, aby pracować nad

wygenerowane komputerowo animacje twarzy do filmów, w tym jednej z aktorem Jimem Carreyem. Paul Debevec, badacz grafiki, który zasłynął z tworzenia wirtualnych środowisk i zaawansowanych technik cyfrowego oświetlenia, widział filmy Sagara na konferencji i był zaintrygowany: nigdy nie widział sztucznych twarzy, które z bliska wyglądały tak przekonująco. To był moment, który sprawił, że przekroczyłem próg prawdziwego uwierzenia, że ​​fotorealistyczna twarz grafika komputerowa pojawi się w ciągu najbliższych pięciu lat, mówi Debevec, który obecnie pracuje w Instytucie Technologii Kreatywnych na Uniwersytecie Południowej Kalifornii (patrz Mistrz Hollywood of Light, TR marzec 2004).

Dwóch naukowców nawiązało współpracę, wykorzystując techniki oświetleniowe Debevec do renderowania cyfrowych twarzy Sagara – połączenie, które szybko katapultowało ich do czołówki w tej dziedzinie. Okazuje się, że jeśli próbujesz symulować twarz, odpowiednie oświetlenie to wielka sprawa. W przeciwieństwie do poprzednich symulacji komputerowych, które wyglądały dziwnie w różnych kontekstach i musiały być korygowane metodą prób i błędów, twarze Sagara i Debevca można było dostosować do oświetlenia w dowolnej scenie. Dzieje się tak, ponieważ zostały zbudowane przy użyciu bogatej bazy danych prawdziwych twarzy sfotografowanych pod różnymi kątami i oświetlonych wieloma różnymi kombinacjami światła. Kiedy LifeFX upadło w 2002 roku, Imageworks złapało Sagara specjalnie ze względu na jego wiedzę na temat twarzy.

Natychmiast rozpoczął pracę nad pierwszym filmowym testem tych technik: Spider-Man 2. Sceny akcji w filmie wymagały szczegółowych i ekspresyjnych symulacji twarzy znanych aktorów – szczególnie trudny problem, mówi Sagar. Widzowie nie tylko szybko odrzucają zastępcze ludzkie twarze w ogóle, ale są szczególnie wrażliwi na twarze, które rozpoznają; jakakolwiek rozbieżność między treścią cyfrową a rzeczywistością może być postrzegana jako fałszywa. Aby symulacje działały, naukowcy potrzebowali wielu materiałów referencyjnych przedstawiających prawdziwych aktorów w różnych warunkach oświetleniowych.

Tak więc Maguire i Molina spędzili dzień w laboratorium Debevca. Pod nadzorem programisty badawczego Tima Hawkinsa siedzieli w specjalnym aparacie zwanym sceną świetlną, podczas gdy cztery nieruchome kamery rejestrowały setki obrazów ich głów i twarzy, tworząc różnorodne wyrazy i oświetlone stroboskopami pod każdym możliwym kątem. Aktorzy mieli również skany laserowe i odlewy gipsowe głów i twarzy, aby na komputerach można było budować cyfrowe modele 3D ich podobizny w wysokiej rozdzielczości.

W Imageworks Sagar i jego zespół napisali przyjazne dla użytkownika oprogramowanie, dzięki któremu dziesiątki artystów mogło korzystać z gigabajtów danych obrazu bez zagłębiania się w szczegóły techniczne. Na przykład, aby sekwencja pociągu wyglądała dobrze, oprogramowanie Sagara połączyło obrazy z konfiguracji Debevec w kompozyty, które pasowały do ​​rzeczywistego oświetlenia na planie filmowym, a następnie zmapowały kompozyty na trójwymiarowe modele komputerowe aktorów. Aby wprawić twarze w ruch, animatorzy manipulowali modelami klatka po klatce, wykorzystując istniejące zdjęcia i wideo aktorów jako przybliżone wskazówki. Oprogramowanie obliczało zmiany oświetlenia w zależności od deformacji modeli twarzy i odpowiednio oświetlało cyfrową skórę. Rezultat: syntetyczni aktorzy, którzy wyglądają jak Maguire i Molina (przecinają się z tymi z krwi i kości), pędzą w powietrzu, wokół drapaczy chmur, nad pociągami i pod wodą, cały czas emotując.

Imageworks jest doskonałym przykładem tego, jak domy efektów integrują nowe badania ze swoimi rurociągami produkcyjnymi szybciej niż jeszcze kilka lat temu. (Podczas gdy publiczność może być zachwycona tym, co ostatnio pojawiło się w multipleksie, podstawowa technologia grafiki w filmach nie zmieniła się zbytnio w latach 90.) Wcześniej było bardzo duże opóźnienie. Coś by się rozwijało, a potem trzeba było czekać dziesięć lat, aż firma programistyczna je skomercjalizuje, mówi J.P. Lewis, ekspert w dziedzinie grafiki i animacji z laboratorium grafiki komputerowej i technologii immersyjnych Uniwersytetu Południowej Kalifornii. Teraz myślę, że firmy są o wiele bardziej świadome badań i mają tendencję do rzucania się na nie znacznie szybciej.

Podczas spaceru po zaciemnionych korytarzach Imageworks tej wiosny zespół stara się dokończyć ponad 800 ujęć z efektami do Spider-Mana 2. To młody, modny tłum w modnych okularach i prezentujący na swoich biurkach pamiątki z filmu – zdjęcia, figurki, odlew twarzy Tobeya Maguire'a. W dniu, w którym wysyła swoje ostatnie ujęcie do filmu, kierownik ds. efektów wizualnych Stokdyk ubolewa, że ​​nie ma więcej czasu. Największym wyzwaniem, jak mówi, było połączenie czasami prawdziwej, czasami cyfrowej twarzy Moliny z jego kostiumem doktora Ocka i otoczeniem w stylu komiksowym. Dopasowanie do rzeczywistości, wzdycha, jest prawie niemożliwe.

Włącz twarz w grze

Rzeczywiście, pomimo milionów dolarów wydanych na ten problem, cyfrowe ludzkie twarze wciąż mają przed sobą drogę. To, co pozostaje do zrobienia, może wydawać się stopniowymi krokami – czyniąc ruchy gałek ocznych mniej zautomatyzowanymi, wychwytując zmiany w przepływie krwi, tak aby policzki się zarumieniły, doprowadzając skórę do zmarszczek we właściwy sposób podczas uśmiechu – ale sumują się. Ostatnie 20 procent może zająć 80 procent naszego czasu, ale zdecydowanie jesteśmy w tych ostatnich 20 procentach, mówi Darin Grant, dyrektor ds. technologii w Digital Domain w Venice w Kalifornii, która robiła animacje postaci do tego lata. Robot.

Ostatecznie to odbiorcy komercyjni zdecydują o wartości tych cyfrowych sobowtórów. Ostatecznym sprawdzianem tego, co robimy, jest to, jak wygląda na ekranie i jak przekłada się na produkcję, mówi Grant. Jego kolega Brad Parker, kierownik ds. efektów wizualnych i reżyser w Digital Domain, twierdzi, że cyfrowi ludzie będą płacić coraz większe dywidendy filmowcom – i społeczności graficznej. To wielka sprawa, mówi. Łączy w sobie wszystko, co trudne w grafice komputerowej.

Dlaczego jest to tak trudny problem – dokładnie to, co nasze oczy wykrywają jako złe w cyfrowym człowieku – nie jest jeszcze dobrze zrozumiane. Ale badacze grafiki z Uniwersytetu Południowej Kalifornii, Lewis i Ulrich Neumann, próbują się tego dowiedzieć. W ostatnich eksperymentach ich grupa pokazała ochotnikom przebłyski prawdziwych i cyfrowych twarzy, aby sprawdzić, czy potrafią odróżnić. Wyniki były uderzające – i frustrujące. Spędziliśmy rok pracując nad tymi twarzami, ale nie mogliśmy oszukać ludzi przez ćwierć sekundy, mówi Lewis. Przewiduje, że te prace doprowadzą do opracowania modeli statystycznych zachowania prawdziwych ludzkich twarzy, co z kolei zapewni narzędzia programowe, których artyści będą mogli używać do zmuszania postaci do poruszania oczami lub zmieniania ekspresji na inne subtelne sposoby, które mogą być kluczowe dla uwiarygodnienia.

Takie postępy powinny mieć dramatyczny wpływ. Mówi Steve Sullivan, dyrektor ds. badań i rozwoju w Industrial Light and Magic w San Rafael w Kalifornii, Prawdopodobnie spojrzymy wstecz za 10 lat i pomyślimy, że dzisiejsze cyfrowe sobowtóry wyglądają strasznie prymitywnie.

I nie tylko filmy doczekają się liftingu. Te same graficzne narzędzia symulacyjne, które filmowcy zaczynają opanowywać, pomogą również napędzać kolejny duży rynek cyfrowych twarzy: gry wideo. Dzisiejsze gry szczycą się olśniewającymi stworzeniami i scenerią, ale ich ludzkie postacie nie są nawet bliskie fotorealizacji. Po prostu niepraktyczne jest programowanie pod każdym kątem widzenia i wyrażeniem, które mogą pojawić się podczas wielopoziomowej, interaktywnej gry.

I tu pojawia się George Borshukov. Borshukov, informatyk, który zaprojektował najnowocześniejszych cyfrowych ludzi do filmów Matrix (wszyscy Smithowie w Reloaded i Revolutions to jego zespół), teraz stosuje technologię twarzy w grach. Były kierownik ds. technologii w ESC Entertainment w Alameda w Kalifornii, Borshukov niedawno przeniósł się do potęgi gier wideo Electronic Arts w Redwood City w Kalifornii. Mówi, że sprzęt do gier nowej generacji zbliży się do zademonstrowania technik fotorealistycznych twarzy w czasie rzeczywistym, ale do tego potrzebne będą kompromisy, przybliżenia i kompresja danych.

Problem w tym, że w grach wszystko musi się dziać w locie. Jednak wyrenderowanie jednej klatki najlepszych współczesnych cyfrowych twarzy zajmuje kilka godzin. Jest to wykonalne, jeśli masz miesiące na wyprodukowanie scen, jak w filmie. Jednak w grze lub filmie interaktywnym określony obraz, którego dotyczy żądanie, może nie istnieć, dopóki użytkownik nie zamówi go za pomocą machnięcia joystickiem. Uczynienie tego praktycznym będzie wymagało oprogramowania, które jest tysiące razy szybsze.

Eksperci twierdzą, że po pięciu latach hybryda między grą a filmem może umożliwić widzom/graczom projektowanie i reżyserowanie własnych filmów, a nawet angażowanie się w akcję. Możesz najpierw obsadzić film, skanując zdjęcia prawdziwych ludzi – na przykład Ciebie i Twoich znajomych – i uruchamiając oprogramowanie, które stworzy fotorealistyczne modele 3D tych osób. Następnie, w czasie rzeczywistym, możesz kierować akcją filmu za pomocą ręcznego kontrolera lub klawiatury – od przybliżania kamery wokół postaci po sprawienie, by główny aktor biegał w określonym kierunku. Jak mówi Borsukov, interaktywna rozrywka jest tam, gdzie jest prawdziwa przyszłość.

W obliczu przyszłości

W Imageworks burza aktywności wiruje wokół Marka Sagara. Artyści są w trybie Crunch dla innego projektu aktorów cyfrowych, Ekspresu Polarnego tej jesieni, opartego na popularnej książce dla dzieci. Ale Sagar, który nie jest bezpośrednio zaangażowany w te działania, jest zachwycony tym, co jest dalej – bardziej eleganckim podejściem do cyfrowych twarzy, opartym na podstawowych zasadach naukowych. Postrzegam dzisiejszą pracę jako etap przejściowy, na którym wciąż musimy zebrać dużo danych – mówi. Ostatecznie wszystko będzie wykorzystywało matematyczne modele tego, jak rzeczy się poruszają i jak odbijają światło.

Sagar widzi również znacznie szersze zastosowania ludzi cyfrowych w grafice medycznej, symulacjach treningowych dla ratowników oraz interfejsach człowiek-komputer, które mogą pomóc użytkownikom skuteczniej komunikować się zarówno z maszynami, jak i innymi ludźmi. Poza branżą rozrywkową duże organizacje, takie jak Microsoft i Honda, prowadzą badania nad zaawansowaną grafiką i modelowaniem ludzi, w tym oprogramowaniem, które może umożliwić tworzenie realistycznych wirtualnych postaci i cyfrowych awatarów na podstawie samego zdjęcia. Powiązane algorytmy mogą również pomóc komputerom rozpoznawać twarze i interpretować wyrażenia, zarówno ze względów bezpieczeństwa, jak i przewidywania potrzeb użytkownika.

Jesteśmy w interesującym wieku, kiedy zaczynamy być w stanie symulować ludzi w najdrobniejszych szczegółach, mówi Sagar. W jego wypowiedzi jest pewna ironia. Gdy tylko cyfrowi ludzie będą dobrze zrobieni, będą nie do odróżnienia od prawdziwych; publiczność nawet nie zda sobie sprawy, że artyści i naukowcy, tacy jak Sagar, zmienili oblicze rozrywki – i społeczeństwa.

Gregory T. Huang jest redaktorem stowarzyszonym TR.

ukryć