Maszyna do głębokiego uczenia się pokonuje ludzi w teście IQ

Nieco ponad 100 lat temu niemiecki psycholog William Stern wprowadził test ilorazu inteligencji jako sposób oceny ludzkiej inteligencji. Od tego czasu testy IQ stały się standardową cechą współczesnego życia i są wykorzystywane do określania przydatności dzieci do szkół oraz zdolności dorosłych do wykonywania pracy.

Testy te zazwyczaj zawierają trzy kategorie pytań: pytania logiczne, takie jak wzorce sekwencji obrazów, pytania matematyczne, takie jak znajdowanie wzorców w ciągach liczb oraz pytania dotyczące rozumowania werbalnego, które opierają się na analogiach, klasyfikacjach, a także synonimach i antonimach.

To właśnie ta ostatnia kategoria zainteresowała Huazheng Wanga i kumpli z Uniwersytetu Nauki i Technologii Chin oraz Bin Gao i kumpli z Microsoft Research w Pekinie. Komputery nigdy nie były w tym dobre. Zadaj ustne rozumowanie maszynie przetwarzającej język naturalny, a jej wydajność będzie słaba, znacznie gorsza niż przeciętna ludzka zdolność.

Dziś to się zmienia dzięki Huazheng i kumplom, którzy zbudowali maszynę do głębokiego uczenia się, która po raz pierwszy przewyższa przeciętną ludzką zdolność do odpowiadania na pytania dotyczące rozumowania werbalnego.

W ostatnich latach informatycy wykorzystali techniki eksploracji danych do analizy ogromnych korpusów tekstów, aby znaleźć powiązania między zawartymi w nich słowami. W szczególności daje im to kontrolę nad statystykami wzorców słów, takimi jak częstość występowania danego słowa w pobliżu innych słów. Na tej podstawie można dowiedzieć się, jak słowa odnoszą się do siebie, aczkolwiek w ogromnej przestrzeni parametrów.

W rezultacie słowa mogą być traktowane jako wektory w tej wielowymiarowej przestrzeni parametrów. zaletą jest to, że można je następnie traktować matematycznie: porównywać, dodawać, odejmować jak inne wektory. Prowadzi to do relacji wektorowych takich jak: król – mężczyzna + kobieta = królowa.

Takie podejście odniosło ogromny sukces. Google używa go do automatycznego tłumaczenia języka, zakładając, że sekwencje słów w innym języku reprezentowane przez podobne wektory mają równoważne znaczenie. Są to więc wzajemne tłumaczenia.

Ale to podejście ma dobrze znaną wadę: zakłada, że ​​każde słowo ma jedno znaczenie reprezentowane przez pojedynczy wektor. Nie tylko często tak nie jest, testy werbalne mają tendencję do skupiania się na słowach o więcej niż jednym znaczeniu, aby utrudnić pytania.

Huazheng i znajomi radzą sobie z tym, biorąc każde słowo i szukając innych słów, które często pojawiają się w pobliżu w dużym korpusie tekstu. Następnie używają algorytmu, aby zobaczyć, jak te słowa są grupowane. Ostatnim krokiem jest wyszukanie różnych znaczeń słowa w słowniku, a następnie dopasowanie zgrupowań do każdego znaczenia.

Można to zrobić automatycznie, ponieważ definicja słownika zawiera przykładowe zdania, w których słowo jest używane w różny sposób. Zatem obliczając wektorową reprezentację tych zdań i porównując je z wektorową reprezentacją w każdym skupieniu, można je dopasować.

Ogólny wynik to sposób na rozpoznanie wielu różnych sensów, jakie mogą mieć niektóre słowa.

Huazheng i koledzy mają w zanadrzu jeszcze jedną sztuczkę, aby ułatwić komputerowi odpowiadanie na pytania dotyczące rozumowania werbalnego. Dzieje się tak, ponieważ pytania te można podzielić na kilka kategorii, które wymagają nieco innego podejścia do rozwiązania.

Ich pomysł polega na tym, aby zacząć od określenia kategorii każdego pytania, tak aby komputer wiedział, jaką strategię odpowiedzi powinien zastosować. Jest to proste, ponieważ pytania w każdej kategorii mają podobną strukturę.

Tak więc pytania, które zawierają analogie, są takie:

Izoterma ma się do temperatury jak izobar? (i) atmosfera, (ii) wiatr, (iii) ciśnienie, (iv) szerokość geograficzna, (v) prąd.

oraz

Zidentyfikuj dwa słowa (po jednym z każdego zestawu nawiasów), które tworzą połączenie (analogię) w połączeniu ze słowami pisanymi wielkimi literami: ROZDZIAŁ (książka, werset, przeczytaj), ACT (scena, publiczność, gra).

Pytania klasyfikujące słowa są takie:

Który z nich jest nieparzysty? (i) spokój, (ii) spokój, (iii) zrelaksowany, (iv) spokój, (v) niewzruszony.

A pytania dotyczące synonimów i antonimów są takie:

Które słowo jest najbliższe IRRACJONALNE? (i) nieprzejednany, (ii) nieodwracalny, (iii) niebezpieczny, (iv) zagubiony, (v) bezsensowny.

i

Które słowo jest najbardziej przeciwne do MUZYKI? (i) niezgodny, (ii) głośny, (iii) liryczny, (iv) werbalny, (v) eufoniczny.

Znalezienie każdego typu pytania jest stosunkowo proste dla algorytmu uczenia maszynowego, biorąc pod uwagę przykłady, z których można się uczyć. I tak właśnie robią Huazheng i spółka.

Po zidentyfikowaniu rodzaju pytania Huazheng i kumple opracowują algorytm rozwiązywania każdego z nich przy użyciu standardowych metod wektorowych, ale także opracowanej przez siebie aktualizacji wielozmysłowej.

Porównują tę technikę głębokiego uczenia się z innymi algorytmicznymi podejściami do testów rozumowania werbalnego, a także ze zdolnościami ludzi do tego. W tym celu zadali pytania 200 ludziom zebranym za pośrednictwem obiektu crowdsourcingowego Mechanical Turk firmy Amazon wraz z podstawowymi informacjami na temat ich wieku i wykształcenia.

A wyniki są imponujące. Ku naszemu zdziwieniu, średnia wydajność istot ludzkich jest nieco niższa niż w przypadku proponowanej przez nas metody, mówią.

Wydajność człowieka w tych testach koreluje z wykształceniem. Tak więc osoby z wykształceniem średnim radzą sobie najgorzej, podczas gdy ci z tytułem licencjata radzą sobie lepiej, a ci z doktoratem radzą sobie najlepiej. Nasz model może osiągnąć poziom inteligencji między osobami z tytułami licencjata a tymi z tytułami magisterskimi, powiedzmy Huazheng i spółka.

To fascynująca praca, która ujawnia potencjał technik głębokiego uczenia się. Huazheng i spółka wyraźnie optymistycznie patrzą na przyszłe zmiany. Dzięki odpowiedniemu wykorzystaniu technologii głębokiego uczenia, moglibyśmy być o kolejny krok bliżej prawdziwej ludzkiej inteligencji.

Techniki głębokiego uczenia się obecnie przetaczają się przez informatykę jak pożar, a rewolucja, którą tworzą, jest wciąż na wczesnym etapie. Nie wiadomo, dokąd zaprowadzi nas ta rewolucja, ale jedno jest pewne: William Stern byłby zdumiony.

Nr ref.: arxiv.org/abs/1505.07909 : Rozwiązywanie werbalnych pytań ze zrozumieniem w teście IQ przez osadzanie słów oparte na wiedzy

ukryć