211service.com
Jak Google „tłumaczy” obrazy na słowa za pomocą matematyki przestrzeni wektorowej
Tłumaczenie jednego języka na inny zawsze było trudnym zadaniem. Jednak w ostatnich latach Google zmienił ten proces, opracowując algorytmy tłumaczenia maszynowego, które zmieniają charakter komunikacji międzykulturowej za pomocą Tłumacza Google.
Teraz ta firma używa tej samej techniki uczenia maszynowego do tłumaczenia obrazów na słowa. W rezultacie powstał system, który automatycznie generuje podpisy pod zdjęciami, które dokładnie opisują zawartość zdjęć. Jest to coś, co przyda się wyszukiwarkom, automatycznemu publikowaniu oraz ułatwieniu osobom niedowidzącym poruszania się po sieci, a nawet w całym świecie.
Konwencjonalne podejście do tłumaczenia językowego to proces iteracyjny, który rozpoczyna się od indywidualnego tłumaczenia słów, a następnie zmiany kolejności słów i fraz w celu ulepszenia tłumaczenia. Ale w ostatnich latach Google opracowało, jak wykorzystać swoją ogromną bazę danych wyszukiwania do tłumaczenia tekstu w zupełnie inny sposób.
Podejście polega zasadniczo na zliczeniu, jak często słowa pojawiają się obok lub w pobliżu innych słów, a następnie zdefiniowaniu ich w abstrakcyjnej przestrzeni wektorowej względem siebie. Dzięki temu każde słowo może być reprezentowane przez wektor w tej przestrzeni, a zdania mogą być reprezentowane przez kombinacje wektorów.
Google przyjmuje ważne założenie. Oznacza to, że określone słowa mają takie same relacje, niezależnie od języka. Na przykład król wektora - mężczyzna + kobieta = królowa powinien obowiązywać we wszystkich językach.
To sprawia, że tłumaczenie języka jest problemem matematyki w przestrzeni wektorowej. Tłumacz Google podchodzi do tego, zamieniając zdanie w wektor, a następnie używając tego wektora do wygenerowania równoważnego zdania w innym języku.
Teraz Oriol Vinyals i koledzy z Google stosują podobne podejście do tłumaczenia obrazów na słowa. Ich technika polega na wykorzystaniu sieci neuronowej do badania zbioru danych zawierającego 100 000 obrazów i ich podpisów, a tym samym nauczenia się, jak klasyfikować zawartość obrazów.
Ale zamiast tworzyć zestaw słów opisujących obraz, ich algorytm tworzy wektor reprezentujący związek między słowami. Ten wektor można następnie podłączyć do istniejącego algorytmu tłumaczenia Google, aby utworzyć podpis w języku angielskim, a nawet w dowolnym innym języku. W efekcie podejście do uczenia maszynowego Google nauczyło się tłumaczyć obrazy na słowa.
Aby przetestować skuteczność tego podejścia, wykorzystali ludzi oceniających rekrutowanych z Amazon Mechanical Turk do oceny napisów generowanych automatycznie w ten sposób wraz z napisami generowanymi przez inne zautomatyzowane podejścia i przez ludzi.
Wyniki pokazują, że nowy system, który Google nazywa Neural Image Caption, wypada dobrze. Wykorzystując dobrze znany zestaw danych obrazów o nazwie PASCAL, program Neural Image Capture wyraźnie przewyższał inne zautomatyzowane podejścia. NIC uzyskał wynik BLEU równy 59, w porównaniu z obecnym stanem techniki wynoszącym 25, podczas gdy wydajność człowieka osiągnęła 69, mówi Vinyals i spółka.
To nie jest złe, a podejście wydaje się stawać coraz lepsze wraz ze wzrostem rozmiaru treningowych zestawów danych. Z tych eksperymentów jasno wynika, że wraz ze wzrostem rozmiarów dostępnych zbiorów danych do opisu obrazu, wzrośnie wydajność podejść takich jak NIC, twierdzi zespół Google.
Oczywiście jest to kolejne zadanie, dla którego policzone są dni ludzkiej supremacji nad maszynami.
Nr ref.: arxiv.org/abs/1411.4555 : Pokaż i powiedz: generator podpisów neuronowych