Prozodia

Czasami nie chodzi o to, co mówisz, ale o to, jak to mówisz. To truizm, do którego większość ludzi może się odnieść, ale komputery nie. Chociaż oprogramowanie do rozpoznawania mowy stało się całkiem dobre w rozumieniu słów, nadal nie może rozróżniać znaków interpunkcyjnych, takich jak kropki i przecinki, ani wybierać między niejednoznacznymi zdaniami, których znaczenie zależy od emocji mówiącego. Dzieje się tak dlatego, że takie oprogramowanie nadal nie może zrozumieć intonacji, akcentów i pauz – łącznie znanych jako prozodia – których ludzie intuicyjnie używają do dokonywania takich rozróżnień.

Jednak biorąc pod uwagę ponad sto korporacyjnych i akademickich grup badawczych pracujących nad tym problemem, próby włączenia prozodii do oprogramowania mowy cieszą się rosnącym powodzeniem. Narzędzia oparte na prozodiach są już używane do syntezy mowy — w celu poprawy naturalności głosów komputerowych, takich jak te, które recytują saldo Twojego konta bankowego przez telefon. W miarę postępu badań nad prozodią te zautomatyzowane systemy będą brzmiały coraz bardziej naturalnie, nawet w przypadku wypowiadania złożonych zdań.

Ta historia była częścią naszego wydania z lipca 2002 r.

• Zobacz resztę numeru
• Subskrybuj

Jednak w rozpoznawaniu mowy powinny pojawić się najważniejsze korzyści. Ostatnie postępy sugerują, że w ciągu pięciu lat oprogramowanie prosody będzie wykonywać takie zadania, jak informowanie, kiedy klient rozmawiający z automatycznym systemem telefonicznym jest zły i odpowiednio zareaguje, np. przekazując połączenie do człowieka. To naprawdę przełomowa rzecz, mówi Michael Picheny, informatyk i kierownik grupy algorytmów mowy i języka w IBM Research w Yorktown Heights w stanie Nowy Jork. Do ostatnich kilku lat jakość rozpoznawania mowy była tak prymitywna, że ​​nie warto było nawet badać, jak wywoływać różne zachowania z maszyn poprzez przekazywanie intencji emocjonalnych. Najpierw chciałeś po prostu, żeby maszyna poprawnie wypowiadała słowa.

Fale dźwiękowe mają trzy podstawowe komponenty, z którymi może współpracować oprogramowanie prosody. Pierwszym z nich jest timing – czas trwania przerw między słowami a zdaniami. Drugie miejsce to ton, a dokładniej względna zmiana tonacji w słowach i zdaniach. Na koniec mamy do czynienia ze zmianą głośności i amplitudy wskazującą na nacisk.

Zrozumienie znaczenia tych funkcji jest o wiele trudniejsze dla komputera niż identyfikowanie słów, mówi Elizabeth Shriberg, informatyk, który prowadzi badania nad prozodią w SRI International w Menlo Park w Kalifornii. Słowa to liniowa seria zdarzeń fonetycznych, takich jak ee i th. Natomiast cechy prozodyczne występują w wyrazach i zdaniach. Co gorsza, różne rodzaje wzorów prozodycznych często nakładają się na siebie; jeden zestaw mógł ujawnić, że zdanie zostało wypowiedziane spokojnie, drugi, że zdanie było pytaniem. Ale naukowcy zaczynają je mapować. Na przykład Shriberg i jej współpracownicy stworzyli szablon gniewnego zdania: ogólnie jest wolniejszy, ma przesadny nacisk na słowa kluczowe i kończy się spadkiem tonu (potrzebowałem tego w ostatni wtorek ale nie dotarł). Shriberg wygenerował prozodyczne modele wszystkiego, od różnych stanów emocjonalnych, przez interpunkcję, po niepłynność – przesunięcia, gdy ludzie zmieniają myśli w połowie zdania lub mamrocze.

Podczas gdy narzędzia SRI są nadal ćwiczeniami badawczymi, zastosowanie prozodii na szeroką skalę do rozpoznawania mowy może być tuż za horyzontem. Ograniczone aplikacje są już używane w chińskim oprogramowaniu do rozpoznawania mowy. W Chinach, w zależności od fleksji, słowo Ma może oznaczać mamę lub konia albo wskazywać, że zdanie było przekleństwem, wyjaśnia Xuedong Huang, informatyk, który kieruje grupą ds. technologii mowy w Microsoft Research w Redmond w stanie Waszyngton. To bardzo niebezpieczne, żartuje. Microsoft zaczął już włączać prostą prozodię do swojego oprogramowania do rozpoznawania mowy w języku chińskim i pracuje nad stworzeniem oprogramowania nowej generacji dla języków chińskiego i japońskiego.

W ciągu następnych pięciu lat anglojęzyczne narzędzia prozodyczne do rozpoznawania mowy powinny pojawić się na rynku jako pierwsze. Jedna aplikacja: firmy mogą automatycznie przeszukiwać zarejestrowane telefony w bazach danych obsługi klienta, znajdować gniewne telefony i badać, co poszło nie tak. Inna możliwość: identyfikacja interpunkcji, aby lekarze mówiący do systemów dyktowania nie musieli mówić kropki.

Ale minie co najmniej dziesięć lat, mówi Shriberg z SRI, zanim jakikolwiek komputer zacznie robić to, co ludzie robią na co dzień – całkowicie odszyfrowywać rozmowę ze wszystkimi jej tonacjami, jednocześnie odfiltrowując dźwięki otoczenia. „Staramy się nieco zmniejszyć przepaść [człowiek-maszyna], więc kiedy ludzie są na wyczerpaniu, w kosmosie lub w trybie podtrzymywania życia, komputer będzie tak inteligentny, jak to tylko możliwe”, mówi Shriberg. Na razie po prostu nie próbuj wyjaśniać tej ambicji komputerowi. Nie zrozumie twojego podniecenia.

ukryć