Maszyna do głębokiego uczenia się rozwiązuje problem z koktajlami

Efekt koktajlu to możliwość skupienia się na konkretnym ludzkim głosie, jednocześnie odfiltrowując inne głosy lub hałas w tle. Łatwość, z jaką ludzie wykonują tę sztuczkę, przeczy wyzwaniu, przed jakim stanęli naukowcy i inżynierowie, próbując je odtworzyć syntetycznie. Ogólnie rzecz biorąc, ludzie z łatwością przewyższają najlepsze zautomatyzowane metody wyodrębniania głosów.

Szczególnie trudnym problemem koktajl party jest dziedzina muzyki, w której ludzie mogą z łatwością skoncentrować się na śpiewnym głosie nałożonym na muzyczne tło, które obejmuje szeroką gamę instrumentów. Dla porównania, maszyny są słabe w tym zadaniu.

Dziś wygląda na to, że to się zmienia dzięki pracy Andrew Simpsona i kumpli z University of Surrey w Wielkiej Brytanii Ci goście wykorzystali niektóre z najnowszych osiągnięć związanych z głębokimi sieciami neuronowymi do oddzielenia ludzkich głosów od tła w szerokim zakresie piosenek.

Ich podejście pokazuje ogromne postępy, jakie poczyniono w ostatnich latach w uczeniu maszynowym i sieciach neuronowych. I toruje drogę do bardziej ogólnego rozwiązania słynnego problemu z koktajlami, które powinno pozwolić między innymi na łatwe oddzielenie wokali od muzyki, której towarzyszą.

Metoda, której używają ci faceci, jest stosunkowo prosta. Zaczynają od bazy danych 63 piosenek, które są dostępne jako zestaw pojedynczych utworów, z których każda zawiera inny instrument lub głos, a także w pełni zmiksowaną wersję utworu.

Simpson i spółka dzielą każdy utwór na 20-sekundowe segmenty i tworzą dla każdego spektrogram, który pokazuje, jak częstotliwości dźwięku zmieniają się w czasie. Rezultatem jest rodzaj unikalnego odcisku palca, który identyfikuje instrument lub głos.

Tworzą także spektrogram w pełni zmiksowanej wersji piosenki. Jest to zasadniczo suma wszystkich składowych spektrogramów.

Zadanie wybrania głosu z tej mieszanki jest zasadniczo zadaniem oddzielenia unikalnego spektrogramu głosu od innych obecnych spektrogramów.

Simpson i współpracownicy przeszkolili swoją głęboką, konwolucyjną sieć neuronową, aby dokładnie to zrobić. Wykorzystali 50 z tych piosenek do trenowania sieci, a pozostałych 13 do przetestowania. W sumie wygenerowało to ponad 20 000 spektrogramów do celów szkoleniowych.

Zadanie dla sieci neuronowej było proste. Jako dane wejściowe podali mu w pełni zmiksowany spektrogram i spodziewali się, że wygeneruje on zasadniczo spektrogram wokalny jako wyjście.

Zadaniem tego rodzaju uczenia maszynowego jest optymalizacja parametrów. Ich głęboka sieć neuronowa ma miliard parametrów, które należy dostroić w taki sposób, aby uzyskać pożądany efekt.

Ten proces optymalizacji — lub uczenia się — odbywa się przez iterację. Tak więc sieć zaczyna z tymi parametrami ustawionymi losowo, a następnie stopniowo poprawia ustawienia za każdym razem, gdy skanuje bazę danych, co zrobiła w ponad stu iteracjach.

Po znalezieniu dobrego ustawienia dla sieci, Simpson i spółka przekazali mu 13 piosenek, których wcześniej nie widział, aby sprawdzić, jak dobrze może oddzielić wokale od miksu.

Wyniki okazały się imponujące. Wyniki te pokazują, że splotowe podejście oparte na głębokiej sieci neuronowej jest w stanie uogólnić separację głosu, wyuczoną w kontekście muzycznym, na nowe konteksty muzyczne - mówi zespół.

Simpson i spółka porównali nawet swoje wyniki z wynikami konwencjonalnego algorytmu koktajlowego zastosowanego do tych samych danych. Wydaje się, że główną zaletą głębokiej sieci neuronowej jest jej ogólne uczenie się, czym są dźwięki „wokalne”.

Innymi słowy, po nauczeniu się, jak brzmi głos, głęboka sieć neuronowa może wykorzystać te informacje, aby wybrać inne głosy z miksu. Ale jak dobre jest to podejście w porównaniu z ludzką wydajnością, nie mówią.

Jednym z natychmiastowych zastosowań jest produkcja utworów muzycznych bez wokali dla maszyn karaoke. To oczywiście… errr… ważny cel, ale są też szersze implikacje.

Głębokie sieci neuronowe rewolucjonizują uczenie maszynowe w wielu różnych obszarach. Do niedawna ludzie wyraźnie dominowali w zadaniach rozpoznawania wzorców, takich jak rozpoznawanie twarzy i rozpoznawanie obiektów. Przewaga ta została znacznie zmniejszona, aw niektórych przypadkach całkowicie utracona.

Teraz maszyny nadrabiają zaległości w obszarze problemów z koktajlami i tylko głupiec postawiłby na ich triumf w niezbyt odległej przyszłości.

Nr ref.: arxiv.org/abs/1504.04658 : Głębokie karaoke: wydobywanie wokali z miksów muzycznych za pomocą splotowej głębokiej sieci neuronowej

ukryć