Tłumacze są nadal na topie — na razie

Być może przegapiłeś otwieranie korków od szampana i deszcz taśmy informacyjnej, ale w ostatnich miesiącach lingwiści komputerowi zaczęli twierdzić, że neuronowe tłumaczenie maszynowe dorównuje teraz wydajności ludzkich tłumaczy.

Technika wykorzystywania sieci neuronowej do tłumaczenia tekstu z jednego języka na inny poprawiła się w ostatnich latach skokowo, dzięki ciągłym przełomom w uczeniu maszynowym i sztucznej inteligencji. Nie jest więc niespodzianką, że maszyny zbliżyły się do ludzkich możliwości. Rzeczywiście, lingwiści obliczeniowi mają dobre dowody na poparcie tego twierdzenia.

Ale dzisiaj Samuel Laubli z Uniwersytetu w Zurychu i kilku kolegów twierdzi, że szampan powinien wrócić do lodu. Nie kwestionują wyników swoich kolegów, ale twierdzą, że protokół testowania nie uwzględnia sposobu, w jaki ludzie czytają całe dokumenty. Mówią, że kiedy to oceniamy, maszyny pozostają znacznie w tyle za ludźmi.

Kwestią sporną jest ocena tłumaczenia maszynowego. Obecnie odbywa się to na podstawie dwóch miar: adekwatności i płynności. Adekwatność tłumaczenia jest określana przez profesjonalnych tłumaczy, którzy czytają zarówno tekst oryginalny, jak i tłumaczenie, aby zobaczyć, jak dobrze wyraża on znaczenie źródła. Płynność jest oceniana przez jednojęzycznych czytelników, którzy widzą tylko tłumaczenie i określają, jak dobrze jest ono wyrażone w języku angielskim.

Językoznawcy komputerowi są zgodni, że system ten daje przydatne oceny. Ale według Laubli i spółki, obecny protokół porównuje tłumaczenia tylko na poziomie zdań, podczas gdy ludzie oceniają tekst również na poziomie dokumentu.

Dlatego opracowali nowy protokół do porównywania wydajności tłumaczy maszynowych i ludzkich na poziomie dokumentu. Poprosili profesjonalnych tłumaczy, aby ocenili, jak dobrze maszyny i ludzie przetłumaczyli ponad 100 artykułów prasowych napisanych po chińsku na angielski. Egzaminatorzy oceniali każde tłumaczenie pod kątem adekwatności i płynności na poziomie zdania, ale przede wszystkim na poziomie całego dokumentu.

Wyniki stanowią ciekawą lekturę. Po pierwsze, Laubli i spółka nie znaleźli żadnej znaczącej różnicy w sposobie, w jaki zawodowi tłumacze oceniali adekwatność zdań tłumaczonych maszynowo i przez człowieka. Pod tym względem ludzie i maszyny są równie dobrymi tłumaczami, co jest zgodne z wcześniejszymi ustaleniami.

Jednak jeśli chodzi o ocenę całego dokumentu, tłumaczenia wykonane przez człowieka są oceniane jako bardziej adekwatne i płynniejsze niż tłumaczenia maszynowe. Mówią, że osoby oceniające adekwatność i płynność tłumaczeń wykazują silniejszą preferencję tłumaczenia przez ludzi niż maszynowego podczas oceny dokumentów w porównaniu z pojedynczymi zdaniami.

Naukowcy myślą, że wiedzą dlaczego. Stawiamy hipotezę, że ocena na poziomie dokumentu ujawnia błędy, takie jak błędne tłumaczenie niejednoznacznego słowa lub błędy związane ze spójnością i spójnością tekstu, które pozostają trudne lub niemożliwe do wykrycia w ocenie na poziomie zdania, jak mówią.

Na przykład zespół podaje przykład nowej aplikacji o nazwie 微信挪 车, którą ludzie konsekwentnie tłumaczą jako WeChat Move the Car, ale której maszyny często tłumaczą na kilka różnych sposobów w tym samym artykule. Maszyny tłumaczą to wyrażenie jako Twitter Move Car, WeChat mobile i WeChat Move. Ten rodzaj niespójności, powiedzmy Laubli i spółka, utrudnia śledzenie dokumentów.

Sugeruje to, że sposób oceny tłumaczenia maszynowego musi odejść od systemu, w którym maszyny rozważają każde zdanie osobno.

Wraz z poprawą jakości tłumaczenia maszynowego tłumaczenia będą coraz trudniejsze do rozróżnienia pod względem jakości i może nadszedł czas, aby przejść do oceny na poziomie dokumentu, która daje oceniającym więcej kontekstu do zrozumienia oryginalnego tekstu i jego tłumaczenia, a także ujawnia błędy związane z tłumaczeniem. do zjawisk dyskursu, które pozostają niewidoczne w ocenie na poziomie zdania, powiedzmy Laubli i współpracownicy.

Ta zmiana powinna pomóc ulepszyć tłumaczenie maszynowe. Co oznacza, że ​​wciąż przewyższa ludzkie tłumaczenie — ale jeszcze nie.

Nr ref.: arxiv.org/abs/1808.07048 : Czy tłumaczenie maszynowe osiągnęło ludzki parzystość? Przypadek oceny na poziomie dokumentu

ukryć