Oprogramowanie, które czyta Harry'ego Pottera, może dokonać pewnych czarów

Uczenie komputera gry w Go na nadludzkim poziomie jest fajne, ale nie jest szczególnie przydatne dla ciebie lub dla mnie. Ale co by było, gdyby komputer mógł przeczytać kilkadziesiąt stron tekstu, np. instrukcję obsługi nowej kuchenki mikrofalowej, a potem odpowiedzieć na pytania, jak to działa? Zapisz mnie.

Czytanie i rozumienie tekstu jest niezwykle trudne dla komputerów, ale kanadyjska firma o nazwie Maluuba poczyniła postępy dzięki algorytmowi, który potrafi czytać tekst i odpowiadać na pytania na jego temat z imponującą dokładnością. Co najważniejsze, w przeciwieństwie do innych podejść, działa tylko z niewielką ilością tekstu. Może w końcu pomóc komputerom zrozumieć dokumenty.

Badacze z Maluuba napisali a papier opisując swoje ostatnie postępy w zeszłym tygodniu. Opisuje algorytm zdolny do odczytania kilkuset bajek dla dzieci połączonych z pytaniami i odpowiedziami na temat każdego tekstu. Po przeszkoleniu algorytm mógł poprawnie odpowiadać na pytania wielokrotnego wyboru dotyczące nieznanego tekstu z ponad 70-procentową dokładnością. Naukowcy przetestowali również algorytm na tekście Harry Potter i kamień filozoficzny i okazało się, że może odpowiadać na pytania dotyczące tego tekstu z podobną dokładnością.

Oprócz postępów akademickich, Maluuba ma nadzieję, że w końcu stworzy system, który może zająć się przyziemną lekturą w Twoim imieniu. Interesują nas przypadki użycia, takie jak podręczniki użytkownika, rejestry pacjentów lub dokumenty obsługi klienta, mówi Mohamed Musbah, wiceprezes ds. produktu w firmie z siedzibą w Waterloo w Kanadzie. W tych obszarach naprawdę nie masz nadmiaru danych.

Zespół Maluuby wykorzystał popularne podejście do uczenia sieci neuronowych, znane jako głębokie uczenie, do trenowania swojego systemu. Ale naukowcy zaprojektowali swoją sieć tak, aby uwzględniała tekst na różnych poziomach abstrakcji — od słów, przez frazy, po zdania — i przygotowali sieć tak, aby była dobra w uczeniu się w ten sposób przed rozpoczęciem treningu. Zazwyczaj sieci głębokiego uczenia się są konfigurowane losowo przed uczeniem. Umożliwiło to sieci bardzo szybkie uczenie się, a odpowiedzi na pytania były o 15 procent lepsze niż w przypadku podejścia opartego na uczeniu głębokim. Było też o 2 procent lepsze niż najlepsze ręcznie kodowane rozwiązanie.

Na pierwszy rzut oka to duży skok, mówi Yoshua Bengio , profesor Uniwersytetu w Montrealu i doradca naukowy Maluuba. Ale Bengio, który jest jednym z garstki guru głębokiego uczenia się, który pracuje obecnie z firmami nad komercyjnymi wysiłkami AI, ostrzega, że ​​przeanalizowanie przez ekspertów znaczenia tego podejścia zajmie trochę czasu.

Pomysł nauczenia maszyn efektywnego czytania i komunikowania się za pomocą języka jest z pewnością kuszący. Może otworzyć nowe, potężne sposoby interakcji z komputerami i wydobywać informacje. Ale rozumienie tekstu jest jednym z największych wyzwań sztucznej inteligencji; komputery zwykle potykają się o to, że język wymaga głębokiego zrozumienia sposobu, w jaki działa rzeczywisty świat.

Pomimo wyzwań, niektóre z największych firm technologicznych próbują opracować sztuczną inteligencję, która potrafi zrozumieć tekst. Facebook zbiera dane dotyczące konwersacji za pośrednictwem usługi asystenta o nazwie M, aby wytrenować swoje algorytmy do prowadzenia naturalnej konwersacji (patrz: „Uczenie maszyn rozumienia nas”). Google DeepMind, spółka zależna Alphabet, która koncentruje się na badaniach nad sztuczną inteligencją, wykonuje podobną pracę, szkoląc systemy głębokiego uczenia się do czytania streszczeń artykułów prasowych (zobacz Google DeepMind uczy maszyny sztucznej inteligencji do czytania ).

Jak dotąd jednak nie było wielkich przełomów i nie jest jasne, jak trudne może być wyposażenie maszyn w wyrafinowane umiejętności czytania ze zrozumieniem. Naukowcy robią postępy w dużej mierze poprzez ulepszanie i ulepszanie kluczowych technik uczenia maszynowego oraz dostarczanie komputerom dużych ilości tekstu z adnotacjami.

Tego rodzaju podejście do uczenia maszynowego stosowane przez badaczy z Maluuba zwykle wymaga ogromnych fragmentów tekstu, aby się uczyć. Rzeczywiście, ilość tekstu wymaganego do wykonania głębokiego uczenia się często była uważana za jeden z kluczowych czynników ograniczających (patrz Czy ten człowiek może uczynić sztuczną inteligencję bardziej ludzką? ). Podstawowym wyzwaniem związanym z językiem jest to, że słowa używane do reprezentowania różnych pojęć są arbitralne, więc trudniej jest narysować między nimi połączenia niż w przypadku obrazów.

Maluuba, założona przez kilku absolwentów Uniwersytetu Waterloo w 2010 roku, wcześniej opracowała inteligentnego osobistego asystenta do smartfonów i skupiła swoje badania na przetwarzaniu języka naturalnego lub rozumieniu maszynowym.

Myślę, że to z pewnością krok naprzód, mówi Ryszard Socher , współzałożyciel firmy AI o nazwie MetaMind, która również zajmuje się przetwarzaniem języka. Jest to bardzo dobrze zaprojektowany system, który łączy dobrze znane i ugruntowane tradycyjne funkcje przetwarzania języka naturalnego z pomysłami z sieci neuronowych.

Chris Dyer , naukowiec z Carnegie Mellon University, który specjalizuje się w przetwarzaniu języka naturalnego, zgadza się, że wyniki Maluuby są imponujące, ale uważa, że ​​maszyny będą musiały naprawdę zrozumieć świat, aby poprawnie rozmawiać — w przeciwieństwie do zdolności do rysowania danych statystycznych. wnioski z tekstu. Prawdopodobnie będzie to oznaczać wyjście poza uczenie się wyłącznie na podstawie tekstu z adnotacjami.

Komputery są zbyt ograniczone, jeśli chodzi o postrzeganie i rozumienie świata, mówi Dyer.

ukryć