Google DeepMind uczy maszyny wykorzystujące sztuczną inteligencję do czytania

Rewolucja w sztucznej inteligencji trwa obecnie w informatyce. Technika ta nazywana jest głębokim uczeniem się i ma wpływ na wszystko, od twarzy i głosu po modę i ekonomię.

Ale jednym z obszarów, który jeszcze nie skorzystał, jest przetwarzanie języka naturalnego — możliwość czytania dokumentu, a następnie odpowiadania na pytania na jego temat. Dzieje się tak częściowo dlatego, że maszyny do głębokiego uczenia się muszą najpierw uczyć się swojego rzemiosła z ogromnych baz danych, które są dokładnie opisywane w tym celu. Jednak te po prostu nie istnieją w wystarczającym rozmiarze, aby były użyteczne.

Dziś to się zmienia dzięki pracy Karla Moritza Hermanna w Google DeepMind w Londynie i kilku kumplom. Ci faceci twierdzą, że specjalny sposób, w jaki Daily Mail i CNN piszą artykuły online, pozwala na ich wykorzystanie w ten sposób. A sama liczba artykułów dostępnych w Internecie po raz pierwszy tworzy bazę danych, z której komputery mogą się uczyć, a następnie odpowiadać na nie. Innymi słowy, DeepMind używa artykułów Daily Mail i CNN, aby nauczyć komputery czytać.

Rewolucja głębokiego uczenia się nastąpiła głównie z powodu dwóch przełomów. Pierwszy dotyczy sieci neuronowych, w których informatycy opracowali nowe techniki uczenia sieci z wieloma warstwami, co było trudne ze względu na liczbę parametrów, które należy dostroić. Nowe techniki zasadniczo tworzą gotowe sieci, które są gotowe do nauki.

Ale sieć neuronowa jest mało przydatna bez bazy danych, z której można się uczyć. Taka baza danych musi być dokładnie opisana, aby maszyna miała złoty standard, z którego może się uczyć. Na przykład w celu rozpoznawania twarzy baza danych treningu musi zawierać zdjęcia, na których twarze i ich pozycje w kadrze są wyraźnie zidentyfikowane. Aby obrazy obejmowały jak najwięcej układów twarzy, bazy danych muszą być ogromne.

Ostatnio stało się to możliwe dzięki usługom crowdsourcingowym, takim jak Amazon Mechanical Turk. Różne zespoły stworzyły tego rodzaju bazę danych o złotym standardzie, pokazując zdjęcia ludzi i prosząc ich o narysowanie ramek ograniczających wokół twarzy, które zawierają.

Jednak tworzenie bazy danych z podobnymi adnotacjami dla słowa pisanego jest znacznie trudniejsze. Jasne, można wyodrębnić zdania, które zawierają ważne punkty. Ale to niewiele pomaga, ponieważ każdy algorytm maszyny szybko uczy się przeszukiwać tekst w poszukiwaniu tej samej frazy, co jest trywialnym zadaniem dla komputera.

Zamiast tego adnotacja musi opisywać treść tekstu, ale bez pojawiania się w nim. Aby zrozumieć powiązanie, algorytm uczący się musi spojrzeć poza samo występowanie słów i fraz, ale także na ich powiązania gramatyczne i związki przyczynowe.

Tworzenie takiej bazy danych jest łatwiejsze do powiedzenia niż do zrobienia. Informatycy stworzyli małe wersje ręcznie, ale są one zbyt małe, aby mogły być przydatne w sieci neuronowej. I wydaje się, że istnieje niewielka możliwość ręcznego tworzenia większych, ponieważ ludzie na ogół nie potrafią dokładnie opisywać tekstu, chyba że są wyspecjalizowanymi redaktorami.

Wejdź na stronę Daily Mail, MailOnline i CNN online. Witryny te wyświetlają wiadomości z głównymi punktami historii wyświetlanymi jako wypunktowania, które są napisane niezależnie od tekstu. Kluczowe znaczenie ma to, że te podsumowania są abstrakcyjne i nie są po prostu kopią zdań z dokumentów, powiedzmy Hermann i spółka.

To od razu sugeruje sposób tworzenia bazy danych z adnotacjami: weź artykuły z wiadomościami jako teksty, a streszczenia z punktorami jako adnotację.

Zespół DeepMind idzie jednak dalej. Wskazują, że nadal możliwe jest wypracowanie odpowiedzi na wiele zapytań za pomocą prostych metod wyszukiwania słów.

Podają następujący przykład typu problemu znanego jako zapytanie Cloze, do którego rozwiązania często używane są algorytmy uczenia maszynowego. Tutaj celem jest zidentyfikowanie X w tych zmodyfikowanych nagłówkach z Daily Mail: a) Zaawansowany technologicznie biustonosz, który pomoże Ci pokonać X piersi; b) Czy Sacharyna może pomóc pokonać X?; c) Czy oleje rybne mogą pomóc w walce z prostatą X?

Hermann i wsp. zwracają uwagę, że prosty rodzaj algorytmu eksploracji danych, zwany wyszukiwaniem ngramów, może łatwo znaleźć odpowiedź, szukając słów, które najczęściej pojawiają się obok wszystkich tych fraz. Odpowiedzią jest oczywiście słowo rak.

Aby udaremnić tego typu rozwiązanie, Hermann i spółka wspólnie anonimizują zbiór danych, zastępując aktorów w zdaniach ogólnym opisem. Oto przykład oryginalnego tekstu z Daily Mail: Producent BBC rzekomo uderzony przez Jeremy'ego Clarksona nie wniesie oskarżenia przeciwko gospodarzowi Top Gear, powiedział w piątek jego prawnik. Clarkson, który był gospodarzem jednego z najchętniej oglądanych programów telewizyjnych na świecie, został wyrzucony przez BBC w środę po tym, jak brytyjskie śledztwo wykazało, że poddał producenta Oisina Tymona niesprowokowany fizyczny i słowny atak.

Zanonimizowana wersja tego tekstu wyglądałaby następująco:
ten ent381 producent rzekomo uderzony przez ent212 nie wniesie zarzutów przeciwko ent153 gospodarz, powiedział jego prawnik w piątek. ent212 , który był gospodarzem jednego z najchętniej oglądanych programów telewizyjnych na świecie, został porzucony przez ent381 środa po wewnętrznym dochodzeniu przez ent180 nadawca stwierdził, że poddał producenta ent193 do niesprowokowanego fizycznego i werbalnego ataku.

W ten sposób można przekonwertować następujące zapytanie typu Cloze, aby zidentyfikować X z Producent X nie wniesie oskarżenia przeciwko Jeremy'emu Clarksonowi, mówi jego prawnik do Producent X nie wniesie zarzutów ent212 , mówi jego prawnik .

A wymagana odpowiedź zmienia się z Oisin Tymon na ent212 .

W ten sposób zanonimizowany aktor może identyfikować się tylko z pewnym zrozumieniem powiązań gramatycznych i związków przyczynowych między podmiotami w opowieści.

Powstała baza danych jest ogromna i składa się z 110 000 artykułów z CNN i 218 000 artykułów ze strony Daily Mail.

Tworząc tego rodzaju bazę danych po raz pierwszy, Hermann i spółka nie mogą się powstrzymać przed użyciem jej do wypróbowania kilku technik uczenia maszynowego. Porównują konwencjonalne techniki przetwarzania języka naturalnego, takie jak mierzenie odległości między kombinacjami słów, z bardziej nowoczesnymi podejściami do sieci neuronowych.

Wyniki jasno pokazują, jak potężne stały się sieci neuronowe. Hermann i spółka twierdzą, że najlepsze sieci neuronowe mogą odpowiedzieć na 60 procent kierowanych do nich zapytań. Sugerują, że te maszyny mogą odpowiadać na wszystkie zapytania, które są ustrukturyzowane w prosty sposób i borykają się tylko z zapytaniami, które mają bardziej złożone struktury gramatyczne.

Oczywiście są pewne zastrzeżenia. Najbardziej oczywiste jest to, że artykuły z Daily Mail i CNN mają bardzo specyficzną strukturę, która różni się od innych niedziennikarskich form pisania. Nie jest jasne, w jaki sposób ta podstawowa struktura wpływa na wyniki.

Nie jest też jasne, jak te maszyny porównują się z ludzkimi możliwościami, co byłoby proste, aby dowiedzieć się, korzystając z usług takich jak Mechanical Turk. To umieściłoby w kontekście twierdzenie DeepMind, zawarte w tytule artykułu, że te maszyny uczą się rozumieć to, co czytają.

Niemniej jednak jest to interesująca praca, która przygotowuje grunt pod fascynujące wydarzenia w najbliższej przyszłości. Nadchodzi odczyt maszynowy; pozostaje tylko pytanie, jak szybko.

Nr ref.: arxiv.org/abs/1506.03340 : Uczenie maszyn do czytania i rozumienia

ukryć