Król – mężczyzna + kobieta = królowa: cudowna matematyka lingwistyki komputerowej

Językoznawstwo komputerowe radykalnie zmieniło sposób, w jaki naukowcy badają i rozumieją język. Umiejętność przełamywania dużych ilości słów po raz pierwszy doprowadziła do zupełnie nowych sposobów myślenia o słowach i ich wzajemnych relacjach.

Ta analiza liczb pokazuje dokładnie, jak często słowo pojawia się blisko innych słów, co jest ważnym czynnikiem w sposobie ich użycia. Tak więc słowo olimpiada może pojawiać się blisko słów takich jak bieganie, skakanie i rzucanie, ale rzadziej obok słów takich jak elektron lub stegozaur. Ten zestaw relacji można traktować jako wielowymiarowy wektor, który opisuje, w jaki sposób słowo Olympics jest używane w języku, który sam można traktować jako przestrzeń wektorową.

I na tym polega ta ogromna zmiana. To nowe podejście umożliwia traktowanie języków jak przestrzeni wektorowych o precyzyjnych właściwościach matematycznych. Obecnie nauka o języku staje się problemem matematyki w przestrzeni wektorowej.

Dzisiaj Timothy Baldwin z University of Melbourne w Australii wraz z kilkoma kumplami bada jedną z ciekawych matematycznych właściwości tej przestrzeni wektorowej: dodawanie i odejmowanie wektorów daje inny wektor w tej samej przestrzeni.

Pytanie, na które się zwracają, brzmi: co oznaczają te wektory złożone? Badając to pytanie, odkrywają, że różnica między wektorami jest potężnym narzędziem do badania języka i relacji między słowami.

Najpierw trochę tła. Najprostszym sposobem myślenia o słowach i ich dodawaniu i odejmowaniu jak wektory jest przykład. Najbardziej znane to: król – mężczyzna + kobieta = królowa. Innymi słowy, dodanie wektorów powiązanych ze słowami król oraz kobieta podczas odejmowania Człowiek jest równy wektorowi skojarzonemu z królowa . To opisuje związek płci.

Inny przykład to: paryż – francja + polska = warszawa. W tym przypadku różnica wektorów między Paryż oraz Francja oddaje pojęcie stolicy.

Baldwin i spółka pytają, na ile niezawodne może być to podejście i jak daleko można się posunąć. W tym celu porównują, jak zmieniają się relacje wektorowe w zależności od badanego korpusu słów. Na przykład, czy te same relacje wektorowe działają w korpusie słów z Wikipedii, jak w korpusie słów z Google News lub Reuters English newswire?

Aby się tego dowiedzieć, przyglądają się wektorom powiązanym z wieloma dobrze znanymi zależnościami między klasami słów. Obejmują one relacje między jednostką a jej częściami, na przykład samolotem i kokpitem; czynność i przedmiot, z którym się ona wiąże, taki jak polowanie i jeleń; rzeczownik i jego rzeczownik zbiorowy, takie jak mrówka i armia. Zawierają również szereg powiązań gramatycznych — rzeczownik i jego liczba w liczbie mnogiej, np. pies i psy, czasownik i jego czas przeszły, np. wiedzieć i wiedzieć; oraz czasownik i jego trzecia osoba w liczbie mnogiej, takie jak akceptować i akceptować.

Wyniki stanowią ciekawą lekturę. Baldwin i wsp. twierdzą, że sumy wektorów uchwycone w tych związkach zazwyczaj tworzą ciasne skupienia w przestrzeniach wektorowych związanych z każdym korpusem.

Istnieje jednak kilka interesujących wartości odstających, w których słowa mają więcej niż jedno znaczenie, a zatem mają niejednoznaczne reprezentacje w tych przestrzeniach wektorów. Przykłady w trzeciej osobie liczby mnogiej obejmują studiowanie i studia, bieganie i bieganie, zwiększanie i zwiększanie, wszystkie słowa, które mogą być rzeczownikami i czasownikami, co zniekształca ich wektory w tych przestrzeniach.

To interesująca praca, która podąża tą nową ścieżką w badaniu słów i ich wzajemnych relacji. Mówią, że ten artykuł jest pierwszym, który testuje możliwość uogólnienia podejścia opartego na różnicach wektorowych w szerokim zakresie relacji leksykalnych.

Ważnym pytaniem, które Baldwin i współpracownicy zaniedbują, jest to, jak to lepsze zrozumienie można wykorzystać w prawdziwym świecie. Jedną z oczywistych odpowiedzi jest pomoc maszynom w zrozumieniu ludzkiego języka. Innym jest pomoc w tłumaczeniu języka.

Warto zauważyć, że jednym z pionierów i sił napędowych w tej dziedzinie jest Google i jego zespół tłumaczeń maszynowych. Ci goście odkryli, że zależność wektorowa, która pojawia się w języku angielskim, ogólnie działa również w języku hiszpańskim, niemieckim, wietnamskim i we wszystkich językach.

W ten sposób Google robi swoje tłumaczenie maszynowe. Zasadniczo uważa, że ​​zdanie jest równoważne w dwóch językach, jeśli jego pozycja w przestrzeniach wektorowych każdego z nich jest taka sama. Przy takim podejściu jego tradycyjne znaczenie jest prawie nieistotne.

Ale ze względu na specyficzny charakter języka istnieje wiele wyjątków. To właśnie one powodują problemy dla algorytmów tłumaczenia maszynowego.

Tak więc znalezienie sposobów na wykrycie niejasności może stanowić przydatny sposób na rozwiązanie tych problemów.

Nr ref.: arxiv.org/abs/1509.01692 : Weź i weź, Gaggle and Goose, Book and Read: Ocena użyteczności różnic wektorowych w nauce relacji leksykalnych

ukryć