Komputery, które mówią w Twoim języku

Chcę lecieć z Bostonu do Milwaukeenext
Sobotaformysiostry
urodziny i nie chcę się zatrzymać
Chicago i nie chcę
zapłaćwięcejniżczterystadolarów
a impreza zaczyna się o godzinie trzeciej, więc
trzeba się tam dostać wcześniej.

Powiedz to ładnie agentowi linii lotniczych, a on lub ona szybko rozwikła twoje słowa i znajdzie loty, które spełniają twoje kryteria. Powiedz to jednak do linii automatycznej rezerwacji linii lotniczej, a wszystko, co prawdopodobnie otrzymasz, to wesoły cyfrowy głos intonujący: Przepraszam, nie zrozumiałem.

Nie obwiniaj głosu. Nawet zakładając, że komputery linii lotniczych pokonały zniekształcone słowa, hałas w tle i bostoński akcent, aby przekształcić żądanie w dokładny tekst, żaden system przetwarzania języka nie ma mocy obliczeniowej, aby zrozumieć ograniczenia dotyczące ceny i trasy, zignoruj ​​nieistotności, takie jak fakt, że w sobotę są urodziny twojej siostry i zrozum, że jeśli impreza zaczyna się o 15:00, nie interesują Cię loty, które przylatują do Milwaukee o 16:00.

Jeśli komputery mógłby rozumieć i odpowiadać na takie rutynowe zapytania w języku naturalnym, wyniki byłyby korzystne: linie lotnicze nie musiałyby zatrudniać tylu agentów, a konsumenci nie musieliby zmagać się z pomieszaniem interfejsów dotykowych, które pozostawiają ich w furii stukając w przycisk 0, na próżno próbując dotrzeć do żywego operatora.

Futuryści wyobrażali sobie taki świat przynajmniej od 1968 roku, kiedy 2001: Odyseja kosmiczna HAL 9000 stał się archetypowym komputerem interaktywnym z głosem. Naukowcy akademiccy i korporacyjni zaintrygowani czystym chłodem tego pomysłu równie długo majstrują przy systemach rozpoznawania i reagowania na ludzką mowę. Ale technologie nie biorą udziału, ponieważ są fajne: potrzebują biznesowego imperatywu. W przypadku przetwarzania języka ogromny koszt obsługi klienta na żywo w końcu wypiera technologie z laboratorium. Proste drzewka telefonicznej prasy lub powiedzmy szybko zmierzają na śmietnik, ponieważ firmy takie jak Nuance Communications i SpeechWorks łączą wcześniej konkurencyjne strategie w oprogramowanie, które wnioskuje o intencji naturalnie mówionych lub pisanych próśb. Główne linie lotnicze, banki i firmy zajmujące się dobrami konsumenckimi już korzystają z tych systemów i chociaż technologia nie jest jeszcze w stanie powstrzymać rozmowy, pomaga dzwoniącym z prostymi pytaniami uniknąć długich kolejek - i uwalnia pracowników do radzenia sobie z nimi. bardziej złożone żądania.

Według Forrester Research, firmy zajmującej się analizą technologii, takie udoskonalenia stworzyły systemy wykorzystujące język naturalny do gwałtownego rozwoju: 43% firm w Ameryce Północnej albo zakupiło interaktywne oprogramowanie do odpowiedzi głosowej dla swoich centrów telefonicznych, albo prowadzi badania pilotażowe. Według Steve'a McClure'a, wiceprezesa grupy zajmującej się badaniem oprogramowania w firmie IDC zajmującej się analizą rynku, w miarę jak coraz więcej firm zastępuje stare menu dotykowe w telefonach, dzisiejszy rynek aplikacji głosowych wykorzystujących telefony o wartości 500 milionów dolarów wzrośnie do 2007 r. i osiągnie 3,5 miliarda dolarów. Na przykład pod koniec 2002 roku firma Bell Canada zainstalowała system odpowiedzi głosowych o wartości 4,5 miliona dolarów, zbudowany przez firmę Nuance z siedzibą w Menlo Park w Kalifornii. W oparciu o wyniki, które obserwujemy, rzeczywisty zwrot z inwestycji zajmie tylko około 10 miesięcy, mówi Belinda Banks, zastępca dyrektora ds. obsługi klienta w Bell Canada. Ogólnie rzecz biorąc, tylko w tym roku firma spodziewa się zaoszczędzić 5,3 miliona dolarów na kosztach obsługi klienta.

A to dopiero pierwsza faza wdrażania systemów przetwarzania języka. Firmy takie jak Nuance i SpeechWorks z Bostonu, dwaj liderzy na rynku interaktywnych systemów odpowiedzi głosowych, odnoszą sukces częściowo dlatego, że dostosowali swoje technologie do wąskich dziedzin – takich jak informacje turystyczne – gdzie słownictwo i pojęcia, które muszą opanować, są ograniczone. Nawet gdy takie systemy przejmują niszę obsługi klienta, inne firmy wciąż podejmują wyzwanie prawdziwego zrozumienia języka naturalnego. Jeśli na przykład wysiłki badawcze w IBM i Palo Alto Research Center (PARC) przyniosą owoce, komputery mogą wkrótce być w stanie zinterpretować prawie każdą rozmowę lub odzyskać prawie każdą informację, jakiej potrzebuje użytkownik sieci, nawet jeśli jest ona zamknięta w plik wideo lub obcy język otwierający rynki wszędzie tam, gdzie ludzie poszukują wiedzy za pośrednictwem sieci komputerowych. Przewiduje McClure z IDC, podczas gdy GUI [graficzny interfejs użytkownika] był interfejsem w latach 90., NUI lub naturalny interfejs użytkownika będzie interfejsem na tę dekadę.

Powiedz co?

Zbudowanie prawdziwie interaktywnego systemu obsługi klienta, takiego jak Nuance, wymaga rozwiązań każdego z głównych wyzwań związanych z przetwarzaniem języka naturalnego: dokładnego przekształcania ludzkiej mowy w tekst do odczytu maszynowego; analiza słownictwa i struktury tekstu w celu wydobycia znaczenia; generowanie rozsądnej odpowiedzi; i odpowiadając ludzkim głosem.

Naukowcy z MIT, Carnegie Mellon University i innych uniwersytetów, a także badacze z firm takich jak IBM, AT&T i Stanford Research Institute (obecnie SRI International) zmagali się od dziesięcioleci z pierwszą częścią problemu: zamianą słowa mówionego w coś, z czym mogą pracować komputery. Pierwsze praktyczne produkty pojawiły się na początku lat 90. w postaci programów do rozpoznawania mowy konsumenckiej – takich jak IBM Voice Type – które wymagały dyktowania, ale zmuszały użytkowników do pauzy po każdym słowie, ograniczając przyswajanie. W połowie lat 90. technologia rozwinęła się i doprowadziła do powstania systemów dyktowania, takich jak NaturallySpeaking firmy Dragon Systems i ViaVoice firmy IBM, które mogą transkrybować nieprzerwaną mowę z dokładnością do 99 procent.

Mniej więcej w tym samym czasie kilku naukowców oderwało się od laboratoriów akademickich i korporacyjnych, aby stworzyć startupy mające na celu rozwiązywanie jeszcze bardziej złożonych problemów – i większych potencjalnych rynków – drugiego obszaru przetwarzania języka, zwanego rozumieniem języka. To w dużej mierze postępy w tej dziedzinie ukształtowały pole do prawdziwego zrywu wzrostu. Według dyrektora ds. technologii SpeechWorks Michaela Phillipsa, byłego naukowca w Laboratorium Informatyki MIT, postępy te opierają się na dwóch ważnych realizacjach. Po pierwsze, nie ma sensu sięgać po księżyc – marzenie o systemach zdolnych do prowadzenia ogólnej konwersacji w stylu HAL sprzed kilkudziesięciu lat. Istnieje mit, że ludzie chcą rozmawiać z maszynami w taki sam sposób, w jaki rozmawiają z ludźmi, mówi Phillips. Ludzie chcą wydajnej, przyjaznej i pomocnej maszyny, a nie czegoś, co próbuje ich nakłonić do myślenia, że ​​prowadzą rozmowę z człowiekiem. To założenie znacznie upraszcza pracę związaną z budowaniem i szkoleniem systemu języka naturalnego.

Drugą świadomością było to, że nadszedł czas, aby połączyć filozofie od dawna utrzymywane przez rywalizujące frakcje w społeczności przetwarzającej język. Jedna filozofia zasadniczo mówi, że rozumienie mowy jest kwestią rozpoznania jej struktury gramatycznej, podczas gdy druga utrzymuje, że analiza statystyczna – dopasowywanie słów lub fraz do historycznej bazy danych przykładów mowy – jest skuteczniejszym narzędziem do odgadywania znaczenia zdania. Startupy przekonały się, że systemy hybrydowe, które wykorzystują obie metody, są dokładniejsze niż każde z tych podejść z osobna.

Ale ten wgląd nie pojawił się z dnia na dzień. Na MIT Phillips pomógł opracować eksperymentalne oprogramowanie, które potrafiło rozpoznawać mowę i, w oparciu o zrozumienie gramatyki, nadać sens prośbie i logicznie odpowiedzieć. Podobnie jak inne systemy oparte na gramatyce, dzielił zdanie na jego komponenty składniowe, takie jak podmiot, czasownik i dopełnienie. Następnie system ułożył te komponenty w podobne do drzewa diagramy, które reprezentowały semantyczną treść zdania lub wewnętrzną logikę — kto zrobił co komu i kiedy. Oprogramowanie ograniczało się do pomagania użytkownikom w poruszaniu się po Cambridge w stanie Massachusetts, wyjaśnia Phillips. Powiedziałbyś: „Gdzie jest najbliższa restauracja?”, a on powiedziałby: „Jaką restaurację chcesz?”. Powiedziałbyś, „chińska” – i znalazłby ci miejsce.

Krótko po tym, jak Phillips udzielił licencji na technologię od MIT w 1994 r. i odszedł, aby założyć SpeechWorks, zarówno on, jak i badacze z konkurencyjnej firmy Nuance zauważyli, że jedna z ich docelowych aplikacji, sterowanie połączeniami, wymaga czegoś więcej. Są firmy, które mają 300 różnych 800 numerów, wyjaśnia Phillips. Klient nie rozumie struktury organizacji – po prostu wie, jaki ma problem. Właściwe jest zadanie pytania typu: „Jaki masz problem?”. Ale w porównaniu do prośby o pobliską chińską restaurację, takie pytania są niebezpiecznie otwarte.

Problem staje się trudniejszy, gdy weźmie się pod uwagę, że niejednoznaczność większości ludzkiej mowy – pomyśl o zdaniu takim, jak widział dziewczynę z teleskopem – oznacza, że ​​wiele próśb jest otwartych na wiele interpretacji. Jest tak wiele różnych sposobów, w jakie ktoś mógłby mówić do systemu, że próba opisania tego wszystkiego gramatykami jest zaporowa, mówi John Shea, wiceprezes ds. marketingu i zarządzania produktami w firmie Nuance.

SpeechWorks w końcu znalazł praktyczne rozwiązanie w 2000 roku, kiedy połączyło oprogramowanie MIT z technologią statystycznego przetwarzania języka opracowaną w AT&T Labs-Research w Florham Park, NJ. System AT&T opiera się na bazie danych wspólnych fragmentów zdań pochodzących z dziesiątek tysięcy nagranych rozmów telefonicznych obejmujących komunikację zarówno człowieka z człowiekiem, jak i człowieka z maszyną. Każdy fragment w bazie danych jest oceniany pod kątem statystycznego powiązania z określonym tematem i odpowiednio klasyfikowany. Fragment taki, jak na przykład połączenia, których nie wykonałem, może silnie korelować z tematem zapytań o nierozpoznany numer, a system przekieruje połączenie do agenta, który mógłby zasilić konto dzwoniącego. Jeśli system nie jest pewny swojego wyboru, poprosi dzwoniącego o dodatkowe informacje za pomocą technologii syntezy mowy. W końcu, według AT&T, system poprawnie kieruje ponad 90 procent połączeń – znacznie wyższy wskaźnik sukcesu niż osoby dzwoniące podczas samodzielnego poruszania się po starych drzewach telefonicznych.

Firma Nuance opracowała podobny system, oparty na technologii firmy SRI, który może wykorzystywać metody gramatyczne lub statystyczne, lub obie, w celu wyodrębnienia znaczenia z mowy rozmówcy. Stosujemy różne podejścia w zależności od potrzeb klienta – mówi Felix Gofman, menedżer ds. marketingu produktów w firmie Nuance. Możesz mieszać i łączyć. W określonej dziedzinie, takiej jak bankowość, tematyka i słownictwo pytań dzwoniących będą ograniczone, a system może działać wyłącznie na predefiniowanych listach tego, co mogą powiedzieć klienci. W przypadku nowych lub szerszych dziedzin, takich jak zamawianie usługi telefonicznej, system przechowuje każde usłyszane pytanie w bazie danych, a następnie wykorzystuje techniki statystyczne do porównywania nowych pytań ze starymi wpisami w poszukiwaniu prawdopodobnych dopasowań, co z czasem poprawia dokładność.

Technologia call center SpeechWorks jest wykorzystywana przez tak różnorodne przedsiębiorstwa, jak Office Depot, US Postal Service, Thrifty Car Rental i United Airlines. Jednak firmą, która zbliża technologię do granic swoich możliwości, jest Amtrak. Podróżni dzwoniący do automatycznego systemu telefonicznego Amtrak mogą nie tylko sprawdzić rozkłady jazdy pociągów, ale także zarezerwować rezerwacje i obciążyć karty kredytowe biletami. Kiedy zaczynaliśmy, głównym celem było zwiększenie poziomu zadowolenia klientów, mówi Matt Hardison, szef sprzedaży, dystrybucji i obsługi klienta na kolei. Ale jako bonus, mówi, oszczędności w kosztach pracy spłaciły 4 miliony dolarów inwestycji Amtrak w technologię w ciągu 18 miesięcy.

Tymczasem Nuance ma dużych klientów z branży finansowej i telekomunikacyjnej, w tym Schwab, Sprint PCS i Bell Canada. British Airways poinformowały firmę, że po wdrożeniu systemów rozpoznawania mowy Nuance w zeszłym roku średni koszt połączenia z klientem spadł z 3,00 USD do 0,16 USD. Według Bell Canada’s Banks, 40 procent klientów korzystało z opcji „zerowania” lub zgłaszania się do operatora na żywo podczas nawigowania po drzewie telefonów firmy z wybieraniem tonowym. Jak podają banki, między wdrożeniem systemu w grudniu 2002 r. a marcem 2003 r. liczba ta spadła do 15 procent.

Głębsze zrozumienie

Jednak pomimo całego ich sukcesu, systemy te w żadnym wypadku nie rozumieją tego, co słyszą. Zajmują się tylko regułami gramatyki, prawdopodobieństwami i przechowywanymi przykładami. Rzeczywiście, wyróżniają się właśnie dlatego, że ich twórcy odwrócili się od poszukiwania systemu wystarczająco inteligentnego, aby przeczytać i podsumować książkę lub podtrzymać ogólną rozmowę.

Ale inni badacze zachowują szerszy pogląd na możliwości przetwarzania w języku naturalnym. Podobnie jak Ron Kaplan, pracownik naukowy w PARC, który opracował wiele podstawowych teorii gramatycznych kryjących się za wieloma współczesnymi systemami języka naturalnego, tworzą oni oprogramowanie, które może poradzić sobie z dużo większą różnorodnością danych wejściowych — od artykułów prasowych po zdezorganizowaną masę multimediów. informacje w sieci. Kaplan krytycznie odnosi się do tego, co nazywa płytkimi metodami stosowanymi w zastosowaniach niszowych, takich jak sterowanie połączeniami. W porównaniu z alternatywą – utrzymywanie kosztownego personelu ludzkich agentów obsługi klienta – w rzeczywistości nie są złe, mówi. Ale w porównaniu z tym, czego byś chciał, śmierdzą. Kaplan mówi, że bardziej efektywny interfejs w języku naturalnym wyeliminowałby potrzebę starannego dostosowywania systemów i umożliwiałby użytkownikom swobodne mówienie i pisanie.

Dwa problemy utrudniające tę wizję, zdaniem Kaplana, polegają na tym, że bazy danych próbek językowych, na których czerpią prostsze systemy, są zbyt małe, a algorytmy statystyczne, których używają, mają na celu wyeliminowanie niejednoznaczności w większości tego, co mówią ludzie, docierając do nich tak szybko, jak możliwe w najbardziej prawdopodobnym znaczeniu. Kaplan uważa, że ​​jeśli ta dwuznaczność zostanie wyeliminowana zbyt wcześnie, właściwe znaczenie wypowiedzi, zwłaszcza długiej lub złożonej, może zostać utracone. Tak więc spędził ostatnią dekadę pracując nad systemem opartym na gramatyce, zwanym Xerox Linguistic Environment, który faktycznie stara się utrzymywać Dwuznaczność. System analizuje wypowiedź na każdy możliwy diagram zdaniowy dozwolony na podstawie zestawu 314 reguł rządzących relacjami między różnymi częściami mowy (naukowcy PARC tworzyli te reguły ręcznie przez trzy lata). Na przykład złożone zdanie zawierające 40 lub więcej słów może być interpretowane na 1000 różnych sposobów.

Analiza gramatyczna systemu jest tak dokładna, że ​​poprawnie wychwytuje średnio 75% zależności logicznych w zdaniu, co w rzeczywistości jest bardzo wysoką wartością w porównaniu z tym, co robi większość metod statystycznych, mówi Kaplan. Ten wskaźnik dokładności można zwiększyć do około 80 procent, jeśli oprogramowanie skorzysta z tych metod statystycznych, porównując każdą możliwą interpretację z podobnymi diagramami w wytrenowanej bazie danych - w przypadku oprogramowania PARC przechowuje setki tysięcy dokładnych diagramów narysowanych zdań z dziennik 'Wall Street artykuły.

Kaplan planuje najpierw uwolnić system w ogromnej cyfrowej bazie wiedzy Xerox na temat technik naprawy kopiarek, która jest stale konsultowana i aktualizowana przez techników terenowych firmy. Tam porówna tysiące pojedynczych wpisów, aby wyeliminować nadmiarowość i sprzeczności. Możliwe, że wielu techników odkryło to samo rozwiązanie wspólnego problemu, takiego jak wymiana bębna kopiarki, wyjaśnia Kaplan. Otrzymasz kilka wpisów mówiących to samo, tylko na różne sposoby. Dodaje, że automatyczne znajdowanie i eliminowanie takiej nadmiarowości może pomóc technikom spędzać mniej czasu na sortowaniu opcji. Oprogramowanie mogłoby również ostatecznie stać się rdzeniem zaawansowanego systemu tłumaczenia dokumentów na różne języki – zadanie to jest szczególnie nękane przez niejasność ( zobacz Wyzwanie Tłumaczenia ).

Zanim jednak komputer zrozumie lub przetłumaczy zapisane informacje wyrażone w języku naturalnym, musi je znaleźć. Staje się to coraz trudniejsze w miarę rozszerzania się cyfrowego wszechświata – dlatego IBM realizuje ambitny projekt wykorzystania przetwarzania języka naturalnego w zarządzaniu nieustrukturyzowanymi informacjami, masą cyfrowego tekstu, obrazów, wideo i audio przechowywanych w sieciach komputerowych. Duża część działalności IBM opiera się na produkcie bazodanowym DB2, ale tradycyjna baza danych może pobierać tylko informacje, które zostały już zorganizowane i zindeksowane. IBM chce zapewnić użytkownikom biznesowym i konsumentom natychmiastowy dostęp do niezindeksowanych danych, które marnują się na milionach dysków twardych na całym świecie, skutecznie rozszerzając swoją dominację w zarządzaniu danymi strukturalnymi na sferę informacji nieustrukturyzowanych. Aby to osiągnąć, firma realizuje inicjatywę mającą na celu połączenie różnych podejść do przetwarzania języka w potężne oprogramowanie, które może inteligentnie wyszukiwać, organizować i tłumaczyć wszystkie te dane. Projekt, nazwany Architekturą Zarządzania Nieustrukturyzowanymi Informacjami, może napędzać działalność firmy w erze Internetu. Jak zakładają badania, jest to duży problem, mówi Alfred Spector, starszy wiceprezes oddziału.

Oprogramowanie do tłumaczenia i inne produkty wykorzystujące nową architekturę są jeszcze w fazie prototypu. Ale ostatecznie, jak mówi David Ferrucci, główny architekt oprogramowania projektu, architektura ta pomoże IBM w tworzeniu systemów, które pobierają najnowsze informacje, jakich potrzebuje użytkownik, z dowolnego źródła cyfrowego, w dowolnym języku, i dostarczają je w zorganizowanej formie. Według Giga Information Group z Cambridge, MA, firmy amerykańskie wydają już 900 milionów dolarów rocznie na portale informacji korporacyjnych, które pomagają pracownikom znaleźć potrzebne im dane, a możliwości dla IBM i innych firm tworzących oprogramowanie do zarządzania nieustrukturyzowanymi informacjami będą się mnożyć w miarę te informacje się gromadzą. Obecnie istnieje jasne uzasadnienie biznesowe, aby radzić sobie z nieustrukturyzowanymi danymi, podsumowuje Spector.

Jeśli próby radzenia sobie z niejednoznacznością, nieustrukturyzowanymi informacjami i innymi zawiłościami języka powiodą się, możemy ostatecznie przestać traktować komputery jak małe dzieci, upraszczając wszystko, co mówimy, aby pasowało do ich niedojrzałego rozumienia świata. Kiedy nadejdzie ten dzień, a może to wkrótce nadejść, konsumenci mogą spodziewać się na każdym kroku zautomatyzowanych interfejsów głosowych, które pozwolą im używać zwykłego języka angielskiego (lub francuskiego lub chińskiego) do interakcji ze wszystkim, od archiwów internetowych po urządzenia i samochody.

I to byłoby naprawdę coś do omówienia.

Babel . przetwarzania języka SPÓŁKA TECHNOLOGIA LOKALIZACJA AT&T Automatyczne rozpoznawanie mowy; naturalnie brzmiąca synteza mowy
Nowy Jork, Nowy Jork Drażnić Automatyczna klasyfikacja e-maili i odpowiedzi San Francisco, Kalifornia i Jerozolima, Izrael IBM Automatyczne rozpoznawanie mowy;
tłumaczenie; standardowe architektury do zarządzania nieustrukturyzowanymi informacjami Armonk, NY Intel Audiowizualne rozpoznawanie mowy Santa Clara, CA Inxight Oprogramowanie do wyszukiwania, eksploracji i kategoryzacji danych tekstowych w sieciach korporacyjnych Sunnyvale, CA Technologie iPhrase Wyszukiwanie tekstu w języku naturalnym w witrynach firmowych Cambridge, MA Microsoft Sprawdzanie gramatyki; interfejsy zapytań; tłumaczenie Redmond, Waszyngton Komunikacja Nuance Interaktywne systemy odpowiedzi głosowej do telefonicznej obsługi klienta Menlo Park, CA Centrum Badawcze Palo Alto Ulepszone algorytmy wydobywania znaczenia z tekstu pisanego Palo Alto, CA SpeechWorks Interaktywne systemy odpowiedzi głosowej do telefonicznej obsługi klienta Boston, MA StreamSage Wyszukiwanie i indeksowanie materiałów wideo i audio w języku naturalnym Waszyngton, DC

ukryć