Oculus Rift Hack przenosi Twoją mimikę na Twój awatar

Rzeczywistość wirtualna jest nastawiona na uzyskanie istotnej odrobiny rzeczywistości społecznej.

Oprogramowanie łączy dane z czujników śledzących górną i dolną część twarzy i dopasowuje wynik do trójwymiarowego modelu twarzy.

Naukowcy z University of Southern California i oddziału Facebooka Oculus zademonstrowali sposób na śledzenie mimiki osoby noszącej gogle wirtualnej rzeczywistości i przeniesienie ich na wirtualną postać. To może sprawić, że kontakty towarzyskie, praca lub zabawa w wirtualnych światach będą o wiele bardziej satysfakcjonujące, ponieważ ekspresja wirtualnego sobowtóra lub nieziemskiego awatara może doskonale naśladować prawdziwą twarz danej osoby.

System śledzi ruch ust osoby za pomocą kamery 3D przymocowanej do zestawu słuchawkowego z krótkim wysięgnikiem. Ruchy górnej części twarzy mierzone są za pomocą tensometrów dodawanych do piankowej wyściółki, która dopasowuje ster do twarzy. Po połączeniu tych dwóch źródeł danych, dokładna trójwymiarowa reprezentacja ruchów twarzy użytkownika może zostać wykorzystana do animowania wirtualnej postaci, niezależnie od tego, czy jest to namiastka osoby, czy coś innego niż człowiek (zobacz wideo).

To może sprawić, że zamieszkanie i interakcja w wirtualnych światach będzie bardziej atrakcyjna, mówi Hao Li , adiunkt na Uniwersytecie Południowej Kalifornii, który kierował projektem. Aby uzyskać wirtualne środowisko społeczne, chcesz przekazać to zachowanie innym ludziom, mówi. Jest to pierwsze śledzenie twarzy, które zostało zademonstrowane na wyświetlaczu montowanym na głowie. Li został nazwany jednym z Przegląd technologii MIT Young Innovators w 2013 roku.

Dyrektor generalny Facebooka, Mark Zuckerberg, powiedział, że jest zainteresowany zestawem słuchawkowym Oculus Rift zapewniającym nowe sposoby na kontakty towarzyskie, chociaż nie ujawnił żadnych szczegółów. Sieć społecznościowa nabyła Oculus w zeszłym roku (zobacz Co widzi Zuckerberg w Oculus Rift ).

Li mówi, że naukowcy z Oculus pracowali z nim wyłącznie w celach badawczych, ale nie byłoby zbyt trudno dopracować system, który wymyślili, i uczynić z niego produkt komercyjny. Jeśli ludzie uważają, że jest to naprawdę kluczowe dla ważnych zabójczych aplikacji, możesz stosunkowo szybko wprowadzić je do produkcji, mówi.

To naprawdę fajne, mówi Philip Rosedale, który wcześniej założył Second Life, a teraz jest dyrektorem generalnym startupu wirtualnych światów o nazwie Wysoka wierność . Firma pracuje nad umożliwieniem realistycznych wirtualnych interakcji społecznych za pomocą kamer internetowych i innych technologii czujników do śledzenia mimiki twarzy oraz gestów rąk i dłoni (patrz The Quest to Put More Reality in Virtual Reality ).

Istnieją mocne dowody na to, że wyświetlanie awatarów ludzi w prawdziwym świecie pomaga im łączyć się z innymi ludźmi w wirtualnym świecie, mówi Rosedale. Zgadza się z Li, że powinno być możliwe usprawnienie pierwszego dowodu koncepcji. Na przykład kamerę można zintegrować ze spodem zestawu słuchawkowego. Wysiłki naukowców i start-upów, aby umieścić kamery śledzące wzrok w zestawach do rzeczywistości wirtualnej, mogą zaoferować alternatywny sposób gromadzenia danych na górnej części twarzy.

Podstawą systemu Li jest oprogramowanie, które może łączyć dane z czujników śledzących górną i dolną część twarzy i dopasowywać wynik do trójwymiarowego modelu twarzy.

Na razie to oprogramowanie wymaga przejścia przez krótki proces kalibracji przy pierwszym użyciu systemu. Najpierw ćwicz mięśnie twarzy przez 10 sekund, wykrzywiając je w kilka różnych wyrazów podczas noszenia zestawu słuchawkowego ze zdjętą częścią wyświetlacza przed kamerą 3D, aby uzyskać pełny widok twarzy. Następnie zakładasz kompletny zestaw słuchawkowy i ćwiczysz twarz przez kolejne 10 sekund. Zebrane dane pomagają oprogramowaniu dowiedzieć się, jak prawidłowo dopasować strumienie danych z górnej i dolnej twarzy.

Li mówi, że pracuje nad wyeliminowaniem tego kroku, dostarczając swojemu oprogramowaniu więcej danych na różne twarze. Pracuje również nad innymi technikami, które mogą ułatwić kopiowanie twojego prawdziwego ja do wirtualnego świata. Opracowano już wiele narzędzi do tworzenia trójwymiarowych replik ludzkich ciał i twarzy za pomocą kamer konwencjonalnych i 3D. Li niedawno stworzył system, który zajmuje się trudniejszym zadaniem, jakim jest realistyczne trójwymiarowe odtworzenie fryzury danej osoby. Jego oprogramowanie może to zrobić tylko za pomocą jedno zdjęcie . Zarówno ten projekt, jak i badania face-trackingowe zostaną zaprezentowane podczas Konferencja grafiki komputerowej Siggraph w Los Angeles w sierpniu.

ukryć