211service.com
Rozwiązywanie problemów związanych ze skręcaniem języka w animacji mowy
Przechwytywanie ruchu to szeroko stosowana technika rejestrowania ruchu ludzkiego ciała. Rzeczywiście, technika ta stała się wszechobecna w takich dziedzinach, jak nauki o sporcie, gdzie jest używana do analizy ruchu i chodu, a także w animacji filmowej i grach, gdzie jest używana do kontrolowania generowanych komputerowo awatarów.
W rezultacie istnieje cała branża zajmująca się analizowaniem ruchu w ten sposób, wraz z tanim, ogólnodostępnym sprzętem i oprogramowaniem do przechwytywania i przetwarzania danych. Istnieje ogromna społeczność producentów i konsumentów motion capture, niezliczonych baz danych i zasobów animacji stockowych oraz bogatego ekosystemu prawnie zastrzeżonych i open-source narzędzi programowych, które pozwalają nimi manipulować, mówi Ingmar Steiner z Saarland University w Niemczech i kilku kumpli.
Jedną z cech świata przechwytywania ruchu jest to, że pojawił się de facto standard, znany jako BioVision Hierarchy lub BVH, służący do kodowania danych ruchu ciała. BVH przetrwało firmę, która go stworzyła i jest obecnie szeroko wspierane, prawdopodobnie dlatego, że jest proste i jasno zdefiniowane, łatwe do wdrożenia i czytelne dla człowieka, mówią Steiner i spółka.
Ale chociaż BVH służy do kodowania danych z niemal każdej możliwej formy przechwytywania ruchu, jest jeden wyjątek — artykulacja języka podczas mowy. Jeśli myślałeś, że animacja mowy w postaciach z gier wygląda kiepsko, to jest powód.
Taki stan rzeczy nie nastąpił z powodu braku danych ani technik ich wytwarzania. Wręcz przeciwnie, naukowcy od jakiegoś czasu używają MRI w czasie rzeczywistym i technik obrazowania elektromagnetycznego do rejestrowania artykulacji języka. Rzeczywiście, techniki te tworzą animacje w znacznie wyższej rozdzielczości niż zwykle używane na przykład w filmach i grach.
Problem polega na tym, że techniki te rejestrują dane w zupełnie innym formacie niż ten, który jest konwencjonalnie używany i nikt nie zabrał się za przekonwertowanie ich do bardziej popularnego formatu, takiego jak BVH. To sprawia, że analiza mowy jest technicznie trudna do przeprowadzenia i prawie niemożliwa do łatwego włączenia do innych mediów
Wszystko to zmienia się dzisiaj dzięki pracy Steinera i spółki. Ci faceci opracowali, jak przekonwertować dane języka o wysokiej rozdzielczości do formatu BVH, łącząc dane z kilku źródeł jednocześnie.
Zademonstrowali nowe podejście na standardowej bazie danych istniejących nagrań artykulacji języka. Obejmują one rezonans magnetyczny w czasie rzeczywistym, skany zębów i zapis elektromagnetyczny, który rejestruje ruch poprzez umieszczenie cewek przewodzących w różnych częściach języka i czaszki w celach informacyjnych oraz pomiar ich interakcji z polem elektromagnetycznym podczas ruchu.
Wynikiem są animacje generowane z danych o wysokiej rozdzielczości, które mogą być obsługiwane przez mniej więcej dowolne oprogramowanie do przechwytywania ruchu i, co najważniejsze, o wystarczająco małej powierzchni, aby można je było uwzględnić w technikach wizualizacji i sterowania w czasie rzeczywistym.
Steiner i spółka szybko zwracają uwagę na ograniczenia ich podejścia. Ta technika w żadnym wypadku nie ma na celu zapewnienia dokładnego modelu kształtów lub ruchów języka, jak mówią poprzednie prace z wykorzystaniem modeli biomechanicznych. Raczej zaletą jest tutaj lekka implementacja… gdzie realistyczna animacja jest ważniejsza niż dopasowanie do prawdziwego kształtu języka.
Przyda się to w branży filmowej i gier, gdzie dobra animacja mowy jest warta uwagi ze względu na jej brak. Wygląda na to, że to się zmieni. Zwróć uwagę na lepszą animację mowy w postaciach wirtualnych i animacje w niedalekiej przyszłości.
Nr ref.: arxiv.org/abs/1310.8585 : Animacja mowy wykorzystująca artykulografię elektromagnetyczną jako dane przechwytywania ruchu