Autouzupełnianie Google dla mowy może ukrywać usterki w rozmowach wideo

Kategoria: Sztuczna inteligencja Opublikowany kwi 06

Wiadomości: Ponieważ wielu z nas polega teraz na rozmowach wideo w celu interakcji twarzą w twarz , przerywane połączenia są bardziej frustrujące niż kiedykolwiek. Sztuczna inteligencja, która naśladuje sposób mówienia poszczególnych rozmówców, może wygładzić pęknięcia, wypełniając małe luki fragmentami wygenerowanej mowy. Opracowana przez zespół Google technologia jest obecnie używana w Aplikacja Google do rozmów wideo Duo .

Jaki jest problem? Kiedy prowadzisz rozmowę online, Twój głos zostaje podzielony na wiele maleńkich kawałków, które są spakowane przez Internet w blokach danych zwanych pakietami. Pakiety często docierają na drugi koniec pomieszane i oprogramowanie musi je zmienić. Ale czasami pakiety w ogóle nie docierają, co powoduje usterki i przerwy w rozmowie. Dzieje się tak w najlepszych czasach. Według Google 99% połączeń w Duo ma do czynienia z pomieszanymi lub zgubionymi pakietami. Jedna dziesiąta tych połączeń traci ponad 8% dźwięku.

Generowanie mowy: Aby rozwiązać ten problem, zespół zbudował sieć neuronową opracowaną przez DeepMind, która może: generuj realistyczną mowę z tekstu . Nowa sieć neuronowa, nazwana WaveNetEQ, została następnie przeszkolona na dużym zbiorze danych składającym się ze 100 zarejestrowanych głosów ludzkich mówiących w 48 różnych językach, aż mogła automatycznie uzupełniać krótkie fragmenty mowy w oparciu o wspólne wzorce sposobu mówienia. Ponieważ Duo jest w pełni szyfrowane, sztuczna inteligencja działa na urządzeniu, a nie w chmurze. Podczas połączenia WaveNetEQ jest w stanie poznać charakterystykę głosu mówiącego i generuje fragmenty audio, które pasują zarówno do stylu, jak i treści tego, co mówi osoba mówiąca. Gdy pakiet zostanie utracony, w jego miejsce wstawiany jest głos generowany przez AI.

Na razie sztuczna inteligencja może generować tylko sylaby, a nie całe słowa lub frazy. Ale krótkie próbki opublikowane przez Google w Internecie pokazać, że wyniki mogą być całkiem realistyczne. W jednym przypadku sztuczna inteligencja zastępuje drugą sylabę słowa „problem” głosem, który dokładnie naśladuje mężczyznę mówiącego.