Oprogramowanie tłumaczy Twój głos na inny język

Badacze z firmy Microsoft stworzyli oprogramowanie, które może nauczyć się brzmienia Twojego głosu, a następnie użyć go do mówienia w języku, którego Ty nie znasz. System mógłby zostać wykorzystany do stworzenia bardziej osobistego oprogramowania do nauczania języków lub do stworzenia narzędzi dla podróżnych.

Podczas demonstracji w Redmond w Waszyngtonie, kampusie Microsoftu we wtorek, naukowiec Microsoftu Frank Soong pokazał, jak jego oprogramowanie może odczytywać tekst w języku hiszpańskim za pomocą głosu jego szefa, Ricka Rashida, który kieruje pracami badawczymi Microsoftu. W drugiej demonstracji Soong użył swojego oprogramowania, aby dać Craigowi Mundie, dyrektorowi ds. badań i strategii Microsoftu, umiejętność mówienia po mandaryńsku.

Usłysz głos Ricka Rashida w jego ojczystym języku, a następnie przetłumaczony na kilka innych języków:

Polski: Posłuchaj fragmentu, w którym Rick Rashid mówi normalnie.

Hiszpański: Posłuchaj tego po hiszpańsku.

Włoski: Posłuchaj tego po włosku.

Mandarin: Posłuchaj tego po mandaryńsku.

W języku angielskim syntetyczna wersja głosu Mundiego przywitała publiczność na otwartym dniu zorganizowanym przez Microsoft Research, podsumowując: Za pomocą tego systemu mogę teraz mówić po mandaryńsku. Zdanie zostało powtórzone po chińsku mandaryńskim, wciąż rozpoznawalnym głosem Mundiego.

Będziemy w stanie wykonać wiele aplikacji scenariuszowych, powiedział Soong, który stworzył system wraz z kolegami z Microsoft Research Asia, drugiego co do wielkości laboratorium badawczego firmy, w Pekinie w Chinach.

W przypadku osoby jednojęzycznej podróżującej w obcym kraju wykonamy rozpoznawanie mowy, a następnie tłumaczenie, a następnie końcowy tekst na mowę [w] innym języku, ale nadal jego własnym głosem, powiedział Soong.

Nowa technika może być również wykorzystana do pomocy uczniom w nauce języka, powiedział Soong. Podanie przykładowych zwrotów w języku obcym własnym głosem może być zachęcające lub łatwiejsze do naśladowania. Soong pokazał również, w jaki sposób jego nowy system może ulepszyć aplikację telefoniczną ze wskazówkami nawigacyjnymi, umożliwiając zwykłym syntetycznym głosom angielskim bezproblemowe odczytywanie tekstu napisanego na chińskich znakach drogowych podczas przekazywania instrukcji dotyczących trasy w Pekinie.

System potrzebuje około godziny szkolenia, aby opracować model, który potrafi odczytać dowolny tekst własnym głosem. Model ten jest konwertowany na model umożliwiający odczytywanie tekstu w innym języku, porównując go z podstawowym modelem zamiany tekstu na mowę dla języka docelowego. Poszczególne dźwięki używane przez pierwszy model do tworzenia słów przy użyciu głosu osoby w jej własnym języku są starannie dopracowywane, aby dać nowemu modelowi zamiany tekstu na mowę pełną zdolność do wypowiadania fraz w drugim języku.

Soong mówi, że to podejście umożliwia konwersję między dowolną parą 26 języków, w tym chińskim mandaryńskim, hiszpańskim i włoskim.

Zachowanie głosu osoby podczas syntezy mowy w innym języku prawdopodobnie uspokoiłoby użytkownika i mogłoby sprawić, że interakcje zależne od oprogramowania do tłumaczenia będą bardziej znaczące, mówi Shrikant Narayan , profesor Uniwersytetu Południowej Kalifornii w Los Angeles, kieruje grupą badawczą zajmującą się systemami tłumaczenia mowy w sytuacjach takich jak konsultacje lekarskie z pacjentem.

Słowo to tylko część tego, co mówi osoba, mówi, i aby naprawdę przekazać wszystkie informacje w mowie osoby, systemy tłumaczeniowe będą musiały być w stanie zachować głos i wiele więcej. Zachowanie głosu, zachowanie intonacji, te rzeczy mają znaczenie, a ten projekt wyraźnie o tym wie, mówi Narayanan. Nasze systemy muszą uchwycić ekspresję, którą dana osoba próbuje przekazać, kim jest i jak to mówi.

Jego grupa badawcza bada, w jaki sposób cechy, takie jak nacisk, intonacja i sposób, w jaki ludzie używają pauz lub wahania, wpływają na skuteczność i postrzeganą jakość tłumaczenia słowo w słowo. Pytamy, czy można budować systemy, które mogą pośredniczyć między ludźmi, a także po prostu zastępować słowa, mówi. Postrzegam te [badania firmy Microsoft] jako część tego, jak to robisz.

ukryć