Ciekawość może być niezbędna dla naprawdę inteligentnej sztucznej inteligencji

Pan. technika

Algorytm komputerowy wyposażony w formę sztucznej ciekawości może nauczyć się rozwiązywać trudne problemy, nawet jeśli nie jest od razu jasne, jakie działania mogą mu pomóc w osiągnięciu tego celu.

Naukowcy z Uniwersytetu Kalifornijskiego w Berkeley opracowali model wewnętrznej ciekawości, aby ich algorytm uczenia się działał nawet wtedy, gdy nie ma silnego sygnału zwrotnego. Model ciekawości opracowany przez ten zespół pokazuje, że oprogramowanie AI kontrolujące wirtualnego agenta w grze wideo stara się zmaksymalizować jego zrozumienie środowiska, a zwłaszcza aspektów tego środowiska, które na niego wpływają. Wcześniej podejmowano wysiłki, aby wzbudzić ciekawość agentów AI, ale zwykle działały one w bardziej uproszczony sposób.

Sztuczka może pomóc rozwiązać wady dzisiejszych najpotężniejszych technik uczenia maszynowego i może wskazać sposoby na ulepszenie maszyn w rozwiązywaniu rzeczywistych problemów.

Nagrody w prawdziwym świecie są bardzo rzadkie, mówi Pulkit Agrawal , doktorant na UC Berkeley, który przeprowadził badania z kolegami. Niemowlęta przeprowadzają wszystkie te losowe eksperymenty i można to traktować jako rodzaj ciekawości. Uczą się pewnych umiejętności.

Kilka potężnych technik uczenia maszynowego sprawiło, że maszyny stały się w ostatnich latach inteligentniejsze. Wśród nich metoda znana jako uczenie wzmacniające umożliwiła maszynom wykonywanie rzeczy, które byłyby trudne do zdefiniowania w kodzie. Uczenie się ze wzmacnianiem polega na wykorzystywaniu pozytywnych nagród do kierowania zachowaniem algorytmu w kierunku określonego celu (patrz 10 Breakthrough Technologies 2017: Uczenie się ze wzmacnianiem).

Uczenie się przez wzmacnianie było podstawową częścią AlphaGo , program opracowany przez DeepMind , aby zagrać w abstrakcyjną i złożoną grę planszową Go z niesamowitą umiejętnością . Technika jest obecnie badana jako sposób na nasycenie maszyn innymi umiejętnościami, których ręczne kodowanie może być niemożliwe. Na przykład może zapewnić, że ramię robota samodzielnie wypracuje, jak wykonać pożądaną pracę.

Jednak uczenie się ze wzmocnieniem ma swoje ograniczenia. Agrawal zauważa, że ​​nauczenie się zadania często wymaga ogromnej ilości szkoleń, a proces może być trudny, jeśli wymagana informacja zwrotna nie jest natychmiast dostępna. Na przykład metoda nie działa w grach komputerowych, w których korzyści z pewnych zachowań nie są od razu oczywiste. Tutaj może pomóc ciekawość.

Naukowcy wypróbowali to podejście, w połączeniu z uczeniem się przez wzmacnianie, w dwóch prostych grach wideo: Mario Bros., klasycznej grze platformowej i VizDoom, podstawowej strzelance 3D.

W obu grach wykorzystanie sztucznej ciekawości usprawniło proces uczenia się. Na przykład w grze 3D zamiast spędzać zbyt dużo czasu na wpadaniu na ściany, agent poruszał się po swoim otoczeniu, ucząc się szybciej nawigować. Nawet bez żadnej innej nagrody agent był w stanie zaskakująco dobrze poruszać się w obu grach. W Mario Bros. nauczył się unikać śmierci, ponieważ zmniejszyło to jego zdolność do odkrywania i poznawania otoczenia.

DO papier opisujący badania zostaną opublikowane na Konferencja AI później W tym roku.

Sztuczna ciekawość jest od jakiegoś czasu aktywnym obszarem badań. Pierre-Yves Oudeyer , dyrektor ds. badań w Francuski Instytut Badań w dziedzinie Informatyki i Automatyki , w ciągu ostatnich kilku lat była pionierem rozwoju programów komputerowych i robotów, które wykazują proste formy dociekliwości.

W tej chwili bardzo ekscytujące jest to, że te idee, które były bardzo postrzegane jako „egzotyczne” zarówno przez mainstreamowych badaczy sztucznej inteligencji, jak i neuronauki, stają się teraz głównym tematem zarówno w sztucznej inteligencji, jak i neuronauce, mówi Oudeyer.

Praca może przynieść realne korzyści praktyczne. Zespół UC Berkeley chce przetestować go na robotach, które wykorzystują uczenie ze wzmacnianiem, aby dowiedzieć się, jak robić takie rzeczy, jak chwytanie niewygodnych przedmiotów. Agrawal twierdzi, że roboty mogą marnować mnóstwo czasu na wykonywanie przypadkowych gestów. Wyposażony we wrodzoną ciekawość taki robot powinien szybciej eksplorować swoje otoczenie i eksperymentować z pobliskimi obiektami – mówi.

Jezioro Brenden , naukowiec z New York University, który buduje modele obliczeniowe ludzkich zdolności poznawczych, mówi, że praca wydaje się obiecująca. Rozwój maszyn o podobnych cechach to ważny krok w kierunku budowania maszyn, które uczą się i myślą jak ludzie – powiedział w e-mailu. To bardzo imponujące, że korzystając wyłącznie z uczenia się opartego na ciekawości, agent może nauczyć się poruszać po poziomie w Mario. Agent nawet nie patrzy na wynik meczu.

Jednocześnie, jak mówi Lake, dociekliwość okazywana przez nowy program jest w rzeczywistości zupełnie inna niż, powiedzmy, dzieci. Mówi, że ludzie wykazują znacznie głębsze zainteresowanie swoim światem.

To bardzo egocentryczna forma ciekawości, mówi Lake. Agenta interesują jedynie cechy swojego otoczenia, które odnoszą się do jego własnych działań. Ludzie są bardziej ciekawi. Ludzie chcą poznawać świat w sposób mniej bezpośrednio związany z ich własnymi działaniami.

ukryć