Uczenie maszynowe zostało wykorzystane do automatycznego tłumaczenia dawno zaginionych języków

Starogrecki wyryty w kamieniu Don Lloyd | Flickr

W 1886 roku brytyjski archeolog Arthur Evans natknął się na starożytny kamień z ciekawym zestawem inskrypcji w nieznanym języku. Kamień pochodził z Krety na Morzu Śródziemnym i Evans natychmiast udał się tam, by szukać dalszych dowodów. Szybko znalazł liczne kamienie i tablice z podobnymi zapisami i datował je na około 1400 r. p.n.e.

To sprawiło, że inskrypcja była jedną z najwcześniejszych form pisma, jakie kiedykolwiek odkryto. Evans twierdził, że jego linearna forma wyraźnie wywodzi się z niegrzecznie zarysowanych rysunków kreskowych należących do dzieciństwa sztuki, tym samym ugruntowując jej znaczenie w historii językoznawstwa.

On i inni później ustalili, że kamienie i tablice zostały napisane dwoma różnymi pismami. Najstarszy, zwany Linear A, pochodzi z lat 1800-1400 p.n.e., kiedy na wyspie dominowała cywilizacja minojska z epoki brązu.

Drugie pismo, linearne B, jest nowsze i pojawiło się dopiero po 1400 roku p.n.e., kiedy wyspa została podbita przez Mykeńczyków z Grecji kontynentalnej.

Evans i inni przez wiele lat próbowali rozszyfrować starożytne pisma, ale zaginione języki oparły się wszelkim próbom. Problem pozostał nierozwiązany do 1953 roku, kiedy lingwista amator Michael Ventris złamał kod dla Linear B.

Jego rozwiązanie opierało się na dwóch decydujących przełomach. Po pierwsze, Ventris przypuszczał, że wiele z powtarzających się słów w słowniku linearnym B to nazwy miejscowości na Krecie. Okazało się, że to prawda.

Jego drugim przełomem było założenie, że pismo to zawierało wczesną formę starożytnej greki. Ten wgląd natychmiast pozwolił mu rozszyfrować resztę języka. W tym procesie Ventris wykazał, że starożytna greka pojawiła się w formie pisemnej wiele wieków wcześniej niż wcześniej sądzono.

Praca Ventris była ogromnym osiągnięciem. Jednak bardziej starożytne pismo, Linear A, do dziś pozostaje jednym z największych nierozstrzygniętych problemów językoznawstwa.

Nietrudno sobie wyobrazić, że ostatnie postępy w tłumaczeniu maszynowym mogą pomóc. W ciągu zaledwie kilku lat badania nad językoznawstwem zostały zrewolucjonizowane przez dostępność ogromnych baz danych z adnotacjami i technik, dzięki którym komputery mogą się z nich uczyć. W związku z tym tłumaczenie maszynowe z jednego języka na inny stało się rutyną. I chociaż nie jest doskonały, te metody zapewniły zupełnie nowy sposób myślenia o języku.

Dołącz do Jiaming Luo i Reginy Barzilay z MIT oraz Yuan Cao z laboratorium AI Google w Mountain View w Kalifornii. Zespół ten opracował system uczenia maszynowego zdolny do odszyfrowywania utraconych języków i zademonstrował to, odszyfrowując Linear B — po raz pierwszy zostało to zrobione automatycznie. Zastosowane przez nich podejście bardzo różniło się od standardowych technik tłumaczenia maszynowego.

Najpierw trochę tła. Główną ideą tłumaczenia maszynowego jest zrozumienie, że słowa są ze sobą powiązane w podobny sposób, niezależnie od używanego języka.

Tak więc proces zaczyna się od odwzorowania tych relacji dla określonego języka. Wymaga to ogromnych baz danych tekstowych. Następnie maszyna przeszukuje ten tekst, aby zobaczyć, jak często każde słowo pojawia się obok każdego innego słowa. Ten wzór pozorów jest unikalnym podpisem, który definiuje słowo w wielowymiarowej przestrzeni parametrów. Rzeczywiście, słowo można traktować jako wektor w tej przestrzeni. I ten wektor działa jak potężne ograniczenie tego, jak słowo może pojawić się w dowolnym tłumaczeniu, jakie wymyśli maszyna.

Wektory te podlegają prostym regułom matematycznym. Na przykład: król – mężczyzna + kobieta = królowa. A zdanie można traktować jako zbiór wektorów, które następują jeden po drugim, tworząc rodzaj trajektorii w tej przestrzeni.

Kluczowym spostrzeżeniem umożliwiającym tłumaczenie maszynowe jest to, że słowa w różnych językach zajmują te same punkty w odpowiednich przestrzeniach parametrów. Umożliwia to odwzorowanie całego języka na inny język z korespondencją jeden do jednego.

W ten sposób proces tłumaczenia zdań staje się procesem znajdowania podobnych trajektorii przez te przestrzenie. Maszyna nigdy nawet nie musi wiedzieć, co oznaczają zdania.

Proces ten opiera się przede wszystkim na dużych zbiorach danych. Ale kilka lat temu niemiecki zespół naukowców pokazał, jak podobne podejście z dużo mniejszymi bazami danych może pomóc w tłumaczeniu znacznie rzadszych języków, w których brakuje dużych baz danych tekstowych. Sztuczka polega na znalezieniu innego sposobu ograniczenia podejścia maszynowego, które nie opiera się na bazie danych.

Teraz Luo i spółka poszli dalej, aby pokazać, w jaki sposób tłumaczenie maszynowe może odszyfrować języki, które zostały całkowicie utracone. Ograniczenie, którego używają, ma związek ze sposobem, w jaki języki ewoluują w czasie.

Pomysł polega na tym, że każdy język może się zmieniać tylko w określony sposób — na przykład symbole w językach pokrewnych mają podobny rozkład, słowa pokrewne mają tę samą kolejność znaków i tak dalej. Z tymi regułami, które ograniczają maszynę, znacznie łatwiej jest rozszyfrować język, pod warunkiem, że znany jest język przodków.

Luo i spółka przetestowali tę technikę z dwoma zagubionymi językami, Linear B i Ugaritic. Językoznawcy wiedzą, że linearny B koduje wczesną wersję starożytnej greki i że ugarycki, który został odkryty w 1929 roku, jest wczesną formą hebrajskiego.

Biorąc pod uwagę te informacje i ograniczenia narzucone przez ewolucję językową, maszyna Luo i spółki jest w stanie przetłumaczyć oba języki z niezwykłą dokładnością. Podobno udało nam się poprawnie przetłumaczyć 67,3% pokrewnych elementów linearnych B na ich greckie odpowiedniki w scenariuszu odszyfrowania. Zgodnie z naszą najlepszą wiedzą, nasz eksperyment jest pierwszą próbą automatycznego rozszyfrowania Linear B.

To imponująca praca, która przenosi tłumaczenie maszynowe na nowy poziom. Ale podnosi również interesującą kwestię innych zaginionych języków — zwłaszcza tych, których nigdy nie odszyfrowano, takich jak Linear A.

W tym artykule Linear A jest rzucający się w oczy ze względu na jego brak. Luo i spółka nawet o tym nie wspominają, ale musi to być ważne w ich myśleniu, podobnie jak dla wszystkich językoznawców. Jednak nadal potrzebne są znaczące przełomy, zanim ten skrypt stanie się podatny na tłumaczenie maszynowe.

Na przykład nikt nie wie, jaki język koduje Linear A. Wszystkie próby rozszyfrowania go na starożytną grekę nie powiodły się. A bez języka przodków nowa technika nie działa.

Ale dużą zaletą podejść opartych na maszynach jest to, że mogą szybko testować jeden język po drugim bez zmęczenia. Jest więc całkiem możliwe, że Luo i spółka zmierzą się z Linear A metodą brute-force — po prostu spróbują rozszyfrować ją na każdy język, dla którego działa już tłumaczenie maszynowe.

Jeśli to zadziała, będzie to imponujące osiągnięcie, którym nawet Michael Ventris byłby zdumiony.

Nr ref.: arxiv.org/abs/1906.06718 : Rozszyfrowanie neuronowe poprzez przepływ minimalnych kosztów: od ugaryckiego do liniowego B

ukryć