Sztuczna inteligencja Google może teraz tłumaczyć Twoją mowę, zachowując jednocześnie Twój głos

Obraz przedstawiający sekretarza generalnego ONZ Ban Ki-moona słuchającego urządzenia tłumaczącego EMILIO MORENATTI / AP

Posłuchaj tego hiszpańskiego klipu audio.

Tak może brzmieć jego angielskie tłumaczenie po przejściu przez tradycyjny automatyczny system tłumaczeń.

Teraz tak to brzmi po przejściu przez nowy system automatycznego tłumaczenia Google.

Wyniki nie są doskonałe, ale możesz usłyszeć, jak tłumacz Google był w stanie zachować głos i ton oryginalnego mówcy. Może to zrobić, ponieważ konwertuje wejście audio bezpośrednio na wyjście audio bez żadnych kroków pośrednich . W przeciwieństwie do tego, tradycyjne systemy translacyjne konwertują dźwięk na tekst, tłumaczą tekst, a następnie ponownie syntetyzują dźwięk, tracąc po drodze cechy oryginalnego głosu.

Nowy system, nazwany Tłumacz, składa się z trzech komponentów, z których wszystkie patrzą na spektrogram dźwiękowy głośnika — wizualną migawkę częstotliwości używanych podczas odtwarzania dźwięku, często nazywaną odciskiem głosu. Pierwszy składnik wykorzystuje sieć neuronową wyszkoloną do mapowania spektrogramu audio w języku wejściowym na spektrogram audio w języku wyjściowym. Drugi konwertuje spektrogram na falę dźwiękową, którą można odtworzyć. Trzeci składnik może następnie nałożyć charakterystykę wokalną oryginalnego głośnika z powrotem na końcowe wyjście audio.

Takie podejście nie tylko zapewnia bardziej zniuansowane tłumaczenia poprzez zachowanie ważnych wskazówek niewerbalnych, ale teoretycznie powinno również zminimalizować błąd tłumaczenia, ponieważ redukuje zadanie do mniejszej liczby kroków.

Translatotron jest obecnie weryfikacją koncepcji. Podczas testów naukowcy przetestowali system tylko z tłumaczeniem z języka hiszpańskiego na angielski, które wymagało już dużej ilości starannie dobranych danych szkoleniowych. Ale wyjścia audio, takie jak na powyższym klipie, pokazują potencjał komercyjnego systemu w dalszej kolejności. Możesz posłuchać ich więcej tutaj .

ukryć