Głębokie uczenie zamienia nagrania mono w realistyczny dźwięk

Samuel Dixon | Unsplash

Posłuchaj śpiewu ptaka na pobliskim drzewie, a stosunkowo szybko zidentyfikujesz jego przybliżoną lokalizację bez patrzenia. Posłuchaj ryku silnika samochodu, gdy przechodzisz przez jezdnię, a zwykle od razu możesz stwierdzić, czy jest za tobą.

Ludzka zdolność do lokalizowania dźwięku w przestrzeni trójwymiarowej jest niezwykła. Zjawisko to jest dobrze rozumiane – wynika z asymetrycznego kształtu naszych uszu i odległości między nimi.

Ale chociaż naukowcy nauczyli się tworzyć obrazy 3D, które z łatwością oszukują nasze systemy wizualne, nikt nie znalazł satysfakcjonującego sposobu na stworzenie syntetycznych dźwięków 3D, które przekonująco oszukują nasze systemy słuchowe.

Dziś wygląda na to, że przynajmniej częściowo się to zmieni, dzięki pracy Ruohan Gao z University of Texas i Kristen Grauman z Facebook Research. Użyli sztuczki, którą ludzie wykorzystują również, aby nauczyć system AI konwertowania zwykłych dźwięków mono na całkiem dobry dźwięk 3D. Naukowcy nazywają to dźwiękiem 2.5D.

Najpierw trochę tła. Mózg wykorzystuje różne wskazówki, aby ustalić, skąd dochodzi dźwięk w przestrzeni 3D. Jedną ważną wskazówką jest różnica między czasem nadejścia dźwięku do każdego ucha — różnica czasu międzyusznego.

Dźwięk wydawany po lewej stronie oczywiście dotrze do lewego ucha przed prawym. I chociaż nie jesteś świadomy tej różnicy, mózg używa jej do określenia, skąd pochodzi dźwięk.

Kolejną wskazówką jest różnica w głośności. Ten sam dźwięk będzie głośniejszy w lewym uchu niż w prawym, a mózg wykorzystuje te informacje również do obliczeń. Nazywa się to międzyuszną różnicą poziomów.

Różnice te zależą od odległości między uszami. Nagrania stereofoniczne nie odwzorowują tego efektu, ponieważ separacja mikrofonów stereofonicznych mu nie odpowiada.

Ważny jest również sposób, w jaki dźwięk współdziała z nausznikami. Klapy zniekształcają dźwięk w sposób zależny od kierunku, z którego dochodzi. Na przykład dźwięk z przodu dociera do kanału słuchowego przed uderzeniem w klapkę uszną. Natomiast ten sam dźwięk dochodzący zza głowy jest zniekształcany przez nausznik, zanim dotrze do przewodu słuchowego.

Mózg również potrafi wyczuć te różnice. W rzeczywistości asymetryczny kształt ucha jest powodem, dla którego możemy stwierdzić, kiedy dźwięk dochodzi na przykład z góry lub z wielu innych kierunków.

Sztuczka polegająca na sztucznym odtwarzaniu dźwięku 3D polega na odtworzeniu efektu, jaki cała ta geometria ma na dźwięk. I to jest trudny problem.

Jednym ze sposobów pomiaru zniekształceń jest nagrywanie binauralne. Jest to nagranie wykonane przez umieszczenie mikrofonu w każdym uchu, który może wychwycić te drobne wariacje.

Analizując wariacje, naukowcy mogą następnie odtworzyć je za pomocą algorytmu matematycznego znanego jako funkcja przenoszenia związana z głową. To zmienia każdą zwykłą parę słuchawek w niezwykłe maszyny dźwiękowe 3D.

Ale ponieważ uszy każdego są inne, każdy słyszy dźwięk w inny sposób. Zatem tworzenie funkcji przenoszenia związanej z głową osoby oznacza pomiar kształtu uszu osoby przed odtworzeniem nagrania. I chociaż można to zrobić w laboratorium, nikt nie wymyślił, jak to zrobić na wolności.

Mimo to istnieją sposoby na przybliżenie dźwięku 3D za pomocą zniekształceń dźwięku, które nie zależą od kształtu ucha — czasu międzyusznego i różnic poziomów.

Sztuczka, której używają Grauman i Gao, polega na określeniu kierunku, z którego dochodzi dźwięk, za pomocą wizualnych wskazówek (co często robią ludzie). Tak więc, biorąc pod uwagę wideo sceny i nagranie dźwięku mono, system uczenia maszynowego sprawdza, skąd pochodzą dźwięki, a następnie zniekształca różnice w czasie i poziomie międzyusznym, aby uzyskać ten efekt dla słuchacza.

Na przykład wyobraź sobie wideo przedstawiające parę muzyków grających na bębnie i pianinie. Jeśli bęben znajduje się po lewej stronie pola widzenia, a fortepian po prawej, łatwo założyć, że dźwięki perkusji powinny pochodzić z lewej, a fortepian z prawej. To właśnie robi ten system uczenia maszynowego, odpowiednio zniekształcając dźwięk.

Metoda szkolenia naukowców jest stosunkowo prosta. Pierwszym krokiem w szkoleniu dowolnego systemu uczenia maszynowego jest stworzenie bazy danych przykładów efektu, którego musi się nauczyć. Grauman i Gao stworzyli jeden, robiąc dwuuszne nagrania ponad 2000 klipów muzycznych, które również nagrali na wideo.

Ich binauralny rejestrator składa się z pary syntetycznych uszu oddzielonych szerokością ludzkiej głowy, które również nagrywają scenę z przodu za pomocą kamery GoPro.

Następnie zespół wykorzystał te nagrania do wytrenowania algorytmu uczenia maszynowego, aby rozpoznać, skąd dochodzi dźwięk na podstawie nagrania wideo sceny. Dowiedziawszy się o tym, jest w stanie obejrzeć wideo, a następnie zniekształcić nagranie monofoniczne w sposób, który symuluje, skąd powinien dochodzić dźwięk. Wynikowy wynik nazywamy wizualnym dźwiękiem 2.5D — strumień wizualny pomaga „podnieść” płaski dźwięk jednokanałowy do dźwięku przestrzennego, mówią Grauman i Gao.

Wyniki są imponujące. Możesz oglądać nagranie wideo z ich pracy tutaj — pamiętaj, aby nosić słuchawki podczas oglądania.

Film porównuje wyniki nagrań 2,5D z nagraniami monofonicznymi i pokazuje, jak dobre może być. Przewidywany dźwięk wizualny 2.5D zapewnia bardziej wciągające wrażenia dźwiękowe, mówią Grauman i Gao.

Jednak nie wytwarza pełnego dźwięku 3D z powodów wymienionych powyżej – naukowcy nie tworzą spersonalizowanej funkcji przenoszenia związanej z głową.

Są też sytuacje, z którymi algorytm nie radzi sobie. Oczywiście system nie radzi sobie z żadnym źródłem dźwięku, którego nie widać na filmie. Nie radzi sobie również ze źródłami dźwięku, których rozpoznawania nie został wyszkolony. Ten system skupia się głównie na teledyskach.

Niemniej Grauman i Gao mają sprytny pomysł, który sprawdza się w wielu teledyskach. I mają ambicje, by rozszerzyć jego zastosowania. Mówią, że planujemy zbadać sposoby włączenia lokalizacji obiektów i ruchu oraz wyraźnie modelować dźwięki sceny.

Nr ref.: arxiv.org/abs/1812.04204 : Dźwięk wizualny 2.5D

ukryć