Algorytm uczenia maszynowego obserwuje Dance Dance Revolution, a następnie tworzy własne tańce

Dance Dance Revolution to jedna z klasycznych gier wideo końca XX wieku. Świadectwem jego sukcesu, nowości i długowieczności jest to, że jest nadal popularny, prawie 20 lat od jego premiery.

Jest to gra taneczna składająca się z ekranu i platformy tanecznej, którą gracze kontrolują za pomocą stóp. Platforma posiada cztery pady, które gracze muszą dotykać w rytm muzyki w kolejności określonej przez wykres na ekranie. Dlatego gracze muszą tańczyć do muzyki w sposób wymagany przez grę.

Gra pozwala również graczom projektować i dystrybuować własne tańce. Przez lata ludzie stworzyli ogromne bazy danych tańców dla ogromnej gamy popularnych piosenek.

To podsunęło pomysł Chrisowi Donahue i kumplom z Uniwersytetu Kalifornijskiego w San Diego. Dlaczego nie wykorzystać tej ogromnej bazy danych do wytrenowania maszyny do głębokiego uczenia się do tworzenia własnych tańców?

Dziś pokazują, jak właśnie to zrobili. Ich system — o nazwie Dance Dance Convolution — przyjmuje jako wejście surowe pliki audio piosenek pop i produkuje procedury taneczne jako wyjście. Rezultatem jest maszyna, która potrafi choreografować muzykę.

Sama gra jest w zasadzie prosta. Podczas odtwarzania muzyki gracz dotyka podkładek na platformie tanecznej w kolejności pokazanej na ekranie. Każdy pad może znajdować się w jednym z czterech stanów: włączony, wyłączony, wstrzymany (lub zatrzymany) i zwolniony. Ponieważ cztery pady mogą być aktywowane lub zwalniane niezależnie, istnieje 256 możliwych kombinacji kroków w dowolnym momencie.

Oczywiście tańce stają się coraz trudniejsze, a większość piosenek ma tańce o pięciu poziomach trudności. Trudność zależy od szybkości rytmicznych podziałów. Gry na poziomie początkującym mają stopnie na ćwierć i ósemce, ale tańce o wyższym poziomie trudności mają stopnie szesnastkowe i pewne wzorce obejmujące 12 i 24 nuty.

Istnieją również inne nieformalne zasady tworzenia wykresów tanecznych. Autorzy wykresów starają się unikać wzorców, które zmusiłyby gracza do odwrócenia się od ekranu, powiedzmy Donahue i spółka. Rezultatem są tańce o szerokiej gamie bogatych struktur.

Zadanie zautomatyzowania tworzenia wykresów tanecznych nie jest wcale proste. Donahue i współ dzielą go na dwie części. Pierwsza to decyzja, kiedy umieścić stopnie, a druga to decyzja, które stopnie wybrać. Następnie szkolą algorytm uczenia maszynowego, aby nauczyć się każdego zadania.

Pierwsze zadanie sprowadza się do zidentyfikowania zestawu znaczników czasu w piosence, na których należy umieścić kroki. Jest to podobne do dobrze zbadanego problemu w badaniach nad muzyką, zwanego wykrywaniem początku. Obejmuje to identyfikowanie ważnych momentów w piosence, takich jak nuty lub uderzenia perkusji.

Chociaż nie każdy początek w naszych danych odpowiada krokowi Dance Dance Revolution, każdy krok Dance Dance Revolution odpowiada początku, powiedzmy Donahue i spółka.

Po zidentyfikowaniu sygnatur czasowych dla każdego kroku, drugim zadaniem jest wybranie kroku do wykonania w każdej chwili.

We wszystkich zadaniach uczenia maszynowego kluczowy jest zestaw danych uczących. W przeszłości badania nad muzyką były utrudnione, ponieważ kwestie praw autorskich mogą uniemożliwić wykorzystywanie utworów w badaniach (lub przynajmniej przekazywanie ich wraz z wynikami).

DDR omija to, ponieważ tak wiele list przebojów tanecznych zostało stworzonych przez zwykłych użytkowników. Donahue i spółka twierdzą, że jedno internetowe repozytorium o nazwie Stepmania Online przechowuje ponad 350 gigabajtów list przebojów tanecznych z ponad 100 000 piosenek.

W tym badaniu zespół skupia się na dwóch mniejszych zestawach danych składających się z nagrań i wykresów tanecznych. Pierwsza zawiera 90 piosenek, których choreografię stworzył jeden autor, który stworzył dla każdej piosenki wykresy z pięcioma poziomami trudności. Drugi zestaw danych zawiera 133 piosenki, każdy z pojedynczą tabelą taneczną.

Następnie zespół powiększa zestaw danych, tworząc lustrzane odbicie każdego wykresu — na przykład zamieniając lewo na prawo i górę na dół (lub oba). Rezultatem jest zestaw danych obejmujący 35 godzin muzyki w postaci nieprzetworzonych plików audio z ponad 350 000 kroków.

Donahue i spółka wykorzystują następnie 80% muzyki do trenowania algorytmu uczenia maszynowego, aby rozpoznawał czasy umieszczania kroków. Weryfikują i testują powstały model z pozostałymi 20 procentami danych. I używają podobnych proporcji, aby wytrenować inny algorytm, aby określić wybór kroku. Podobne techniki są szeroko stosowane w uczeniu maszynowym do zadań, takich jak przetwarzanie języka naturalnego.

Wyniki są imponujące. Nasze eksperymenty ustalają możliwość wykorzystania uczenia maszynowego do automatycznego generowania wysokiej jakości wykresów DDR z surowego dźwięku, powiedzmy Donahue i spółka.

Łącząc spostrzeżenia z wykrywania pojawienia się muzyki i statystycznego modelowania języka, zaprojektowaliśmy i oceniliśmy szereg metod głębokiego uczenia się do nauki choreografii.

To zabawna praca, która pokazuje użyteczność uczenia maszynowego w zadaniach, w których istnieją duże zbiory danych z adnotacjami. Pokazuje również, że kolejny bastion ludzkiej kreatywności spadł na maszyny.

Nr ref.: arxiv.org/abs/1703.06891 : Taniec Taniec Konwolucja

ukryć