Dlaczego ludzie uczą się szybciej niż sztuczna inteligencja — na razie

W 2013 roku firma DeepMind Technologies, wówczas mało znana firma, opublikowała przełomowy artykuł pokazujący, w jaki sposób sieć neuronowa może nauczyć się grać w gry wideo z lat 80. tak, jak robią to ludzie — patrząc na ekran. Sieci te następnie zaatakowały najlepszych ludzkich graczy.

Kilka miesięcy później Google kupił firmę za 400 milionów dolarów. Od tego czasu DeepMind zastosował głębokie uczenie w różnych sytuacjach, najsłynniejszym z nich, aby przewyższyć ludzi w starożytnej grze Go.

Ale choć ta praca robi wrażenie, podkreśla jedno z istotnych ograniczeń uczenia głębokiego. W porównaniu z ludźmi, maszyny korzystające z tej technologii potrzebują dużo czasu na naukę. Co takiego jest w ludzkim uczeniu się, które pozwala nam osiągać tak dobre wyniki przy stosunkowo niewielkim doświadczeniu?

Dziś otrzymujemy swego rodzaju odpowiedź dzięki pracy Rachita Dubey i kolegów z Uniwersytetu Kalifornijskiego w Berkeley. Zbadali sposób, w jaki ludzie wchodzą w interakcję z grami wideo, aby dowiedzieć się, na jakiej wcześniejszej wiedzy opieramy się, aby nadać im sens.

Okazuje się, że za każdym razem, gdy podejmujemy nową grę, ludzie korzystają z bogatej wiedzy. A to znacznie ułatwia grę. Ale w obliczu gier, które nie wykorzystują tej wiedzy, ludzie brną w gruzy, podczas gdy maszyny brną w ten sam sposób.

Przyjrzyj się grze komputerowej pokazanej powyżej po lewej stronie (oryginalna gra). Ta gra jest oparta na klasyku o nazwie Montezuma’s Revenge, pierwotnie wydanym na 8-bitowy komputer Atari w 1984 roku.

Nie ma instrukcji ani instrukcji; nie dowiesz się nawet, którego duszka kontrolujesz. Otrzymasz informację zwrotną tylko wtedy, gdy pomyślnie ukończysz grę.

Czy byłbyś w stanie to zrobić? Jak długo to zajmie? Możesz wypróbuj go na tej stronie (wraz z innymi grami wymienionymi w artykule) .

Najprawdopodobniej gra zajmie ci około minuty, a w trakcie prawdopodobnie wykonasz około 3000 akcji na klawiaturze. To właśnie odkryli Dubey i spółka, kiedy przekazali grę 40 pracownikom z serwisu crowdsourcingowego firmy Amazon Mechanical Turk, którym zaoferowano 1 dolara za ukończenie gry.

Nie jest to zbyt zaskakujące, ponieważ łatwo można się domyślić, że celem gry jest skierowanie duszka robota w stronę księżniczki, stąpając po obiektach przypominających cegłę i używając drabin, aby dostać się na wyższe platformy, unikając jednocześnie wściekłego różu i ognistych obiektów, mówią naukowcy.

Dla kontrastu, gra jest trudna dla maszyn: wiele standardowych algorytmów głębokiego uczenia się w ogóle nie potrafiło jej rozwiązać, ponieważ algorytm nie ma możliwości oceny postępów w grze, gdy informacja zwrotna pochodzi dopiero z zakończenia.

Najlepszym wykonawcą maszyny był oparty na ciekawości algorytm uczenia się ze wzmocnieniem, który wymagał około czterech milionów działań na klawiaturze, aby ukończyć grę. Odpowiada to około 37 godzinom ciągłej gry.

Więc co sprawia, że ​​ludzie są o wiele lepsi? Okazuje się, że do tej gry nie podchodzimy z pustą kartą. Człowiek zobaczy, że ma kontrolę nad robotem i że robot powinien unikać ognia, wspinać się po drabinach, przeskakiwać przez szczeliny i unikać marszczącego brwi wroga, aby dotrzeć do księżniczki. Wszystko to dzięki uprzedniej wiedzy, że niektóre obiekty są dobre, a inne (ze zmarszczonymi brwiami lub płomieniami) są złe, że platformy podpierają obiekty, podczas gdy po drabinach można się wspinać, że rzeczy wyglądające tak samo zachowują się w ten sam sposób, że grawitacja ściąga obiekty w dół , a nawet czym są przedmioty: rzeczy, które są oddzielone od innych rzeczy i mają różne właściwości.

W przeciwieństwie do tego maszyna nic o tym nie wie.

Więc Dubey i spółka przebudowali grę, aby te wcześniejsze informacje stały się nieistotne, a następnie zmierzyli, ile czasu zajęło ludzkim Turkom ukończenie. Zespół założył następnie, że każdy wzrost w tym czasie jest wskaźnikiem ważności tych informacji.

Stworzyliśmy różne wersje gry wideo, ponownie renderując różne elementy, takie jak drabiny, wrogowie, klucze, platformy itp., używając alternatywnych tekstur, wyjaśniają. Wybrali te tekstury, aby zamaskować różne formy wcześniejszej wiedzy i zmienili właściwości fizyczne gry, takie jak efekt grawitacji i sposób interakcji agenta z otoczeniem. W każdej wersji dynamika gry była taka sama.

Wyniki stanowią fascynującą lekturę. Uważamy, że usunięcie części wcześniejszej wiedzy powoduje drastyczny spadek szybkości, z jaką ludzie rozwiązują grę, powiedzmy Dubey i spółka. Rzeczywiście, czas potrzebny ludziom na rozwiązanie gry wzrasta z minuty do ponad 20 minut, ponieważ usuwane są różne rodzaje wcześniejszych informacji.

Natomiast usunięcie tych informacji zwykle nie ma wpływu na szybkość uczenia się algorytmu maszyny.

Zespół jest nawet w stanie uszeregować różne rodzaje informacji według ważności przez wydłużenie czasu, jaki powoduje ich usunięcie. Usunięcie semantyki obiektu, takiej jak zmarszczona twarz lub symbol ognia, wymaga dłuższego spędzenia czasu przed zakończeniem gry. Ale maskowanie koncepcji przedmiotu sprawia, że ​​sprawy są o wiele trudniejsze, że wielu Turków po prostu odmówiło zabawy. Musieliśmy podnieść wynagrodzenie do 2,25 USD, aby zachęcić uczestników do rezygnacji, powiedzmy Dubey i spółka.

Ten ranking zawiera interesujący link do sposobu, w jaki ludzie się uczą. Psychologowie odkryli, że dwumiesięczne niemowlęta posiadają prymitywne pojęcie o obiektach, które mają się poruszać jako połączone całości. Ale w tym wieku niemowlęta nie rozpoznają kategorii obiektów.

W wieku trzech do pięciu miesięcy niemowlęta uczą się rozpoznawać kategorie obiektów; od 18 do 24 miesięcy uczą się rozpoznawać poszczególne przedmioty. Mniej więcej w tym czasie uczą się również właściwości obiektów (afordancje obiektów, jak nazywają je psychologowie), a tym samym uczą się różnicy między krokiem, po którym można chodzić po płaskim terenie, a niemożliwym do przejścia krokiem z klifu.

Okazuje się, że eksperymenty Dubeya i spółki klasyfikują tego rodzaju wyuczone informacje dokładnie w tej samej kolejności, w jakiej uczą się ich dzieci. Warto zauważyć, że kolejność, w jakiej niemowlęta poszerzają swoją wiedzę, odpowiada ważności różnych a priori obiektów, mówią.

Nasza praca stawia pierwsze kroki w kierunku ilościowego określenia znaczenia różnych priorytetów, które ludzie stosują w rozwiązywaniu gier wideo oraz w zrozumieniu, w jaki sposób wcześniejsza wiedza czyni ludzi dobrymi w tak złożonych zadaniach, dodają.

Sugeruje to interesujący sposób dla informatyków pracujących nad inteligencją maszynową – programowanie swoich podopiecznych z tą samą podstawową wiedzą, którą ludzie zdobywają w młodym wieku. W ten sposób maszyny powinny być w stanie dogonić ludzi w ich szybkości uczenia się, a może nawet ich przewyższyć.

Z niecierpliwością czekamy na wyniki.

Nr ref.: arxiv.org/abs/1802.10217 : Badanie ludzkich priorytetów do grania w gry wideo

ukryć