Algorytm, który uczy się poprzez nagrody, może pokazać, jak działa nasz mózg

Ścieżki neuronowe Wikimedia Commons

W 1951 roku Marvin Minsky, wówczas student Harvardu, zapożyczył obserwacje z zachowania zwierząt, aby spróbować zaprojektować inteligentną maszynę. Opierając się na pomysłach z pracy fizjologa Iwana Pawłowa, który słynnie wykorzystywał psy, aby pokazać, jak zwierzęta uczą się poprzez kary i nagrody, Minsky stworzył komputer który mógłby stale uczyć się poprzez podobne wzmocnienie, aby rozwiązać wirtualny labirynt.

W tamtym czasie neuronaukowcy nie odkryli jeszcze mechanizmów w mózgu, które pozwalają zwierzętom uczyć się w ten sposób. Ale Minsky wciąż był w stanie luźno naśladować zachowanie, rozwijając w ten sposób sztuczną inteligencję. Kilkadziesiąt lat później, gdy uczenie się przez wzmacnianie dalej dojrzewało, pomogło to z kolei w dziedzinie neuronauki odkryć te mechanizmy, zasilając się w zdumiewający cykl postępu między tymi dwoma polami.

W opublikowany artykuł w Nature dzisiaj DeepMind, spółka zależna Alphabet AI, po raz kolejny wykorzystała lekcje z uczenia się przez wzmacnianie, aby zaproponować nową teorię na temat mechanizmów nagradzania w naszych mózgach. Hipoteza, poparta wstępnymi odkryciami eksperymentalnymi, może nie tylko poprawić nasze zrozumienie zdrowia psychicznego i motywacji. Mogłoby to również potwierdzić obecny kierunek badań nad sztuczną inteligencją w kierunku budowania bardziej podobnej do ludzkiej inteligencji ogólnej.

Na wysokim poziomie uczenie się ze wzmocnieniem podąża za wglądem pochodzącym od psów Pawłowa: możliwe jest nauczenie agenta opanowania złożonych, nowatorskich zadań wyłącznie dzięki pozytywnej i negatywnej informacji zwrotnej. Algorytm zaczyna uczyć się przydzielonego zadania, losowo przewidując, które działanie może przynieść mu nagrodę. Następnie podejmuje działanie, obserwuje prawdziwą nagrodę i dostosowuje swoją prognozę w oparciu o margines błędu. W ciągu milionów, a nawet miliardów prób, błędy przewidywania algorytmu zbiegają się do zera, w którym to momencie dokładnie wie, jakie działania podjąć, aby zmaksymalizować nagrodę i tym samym wykonać swoje zadanie.

Okazuje się, że mózgowy system nagradzania działa w podobny sposób – odkrycie dokonane w latach 90., zainspirowane algorytmami uczenia się przez wzmacnianie. Kiedy człowiek lub zwierzę ma wykonać działanie, jego neurony dopaminy przewidują oczekiwaną nagrodę. Po otrzymaniu rzeczywistej nagrody wystrzeliwują ilość dopaminy, która odpowiada błędowi przewidywania. Lepsza nagroda niż oczekiwano wyzwala silne uwalnianie dopaminy, podczas gdy nagroda gorsza niż oczekiwano hamuje produkcję substancji chemicznej. Innymi słowy, dopamina służy jako sygnał korekcyjny, mówiący neuronom, aby dostosowały swoje przewidywania, aż zbiegną się z rzeczywistością. Zjawisko, znane jako błąd przewidywania nagrody, działa podobnie jak algorytm uczenia się przez wzmacnianie.

Nowy artykuł DeepMind opiera się na ścisłym związku między tymi naturalnymi i sztucznymi mechanizmami uczenia się. W 2017 roku naukowcy wprowadzili ulepszony algorytm uczenia się przez wzmacnianie, który od tego czasu odblokował coraz bardziej imponującą wydajność w różnych zadaniach. Teraz uważają, że ta nowa metoda może zaoferować jeszcze dokładniejsze wyjaśnienie działania neuronów dopaminy w mózgu.

W szczególności ulepszony algorytm zmienia sposób, w jaki przewiduje nagrody. Podczas gdy stare podejście szacowało nagrody jako pojedynczą liczbę — mającą równać się średniemu oczekiwanemu wynikowi — nowe podejście przedstawia je dokładniej jako rozkład. (Pomyśl przez chwilę o automacie do gry: możesz albo wygrać, albo przegrać po jakiejś dystrybucji. Ale w żadnym wypadku nie otrzymasz przeciętnego oczekiwanego wyniku.)

Modyfikacja prowadzi do nowej hipotezy: czy neurony dopaminy również przewidują nagrody w ten sam sposób dystrybucji?

Aby przetestować tę teorię, DeepMind nawiązał współpracę z grupą z Harvardu, aby obserwować zachowanie neuronów dopaminowych u myszy. Ustawili myszy na zadanie i nagrodzili je na podstawie rzutu kostką, mierząc wzorce odpalania ich neuronów dopaminy w całym tekście. Odkryli, że każdy neuron uwalniał różne ilości dopaminy, co oznacza, że ​​wszyscy przewidzieli różne wyniki. Podczas gdy niektórzy byli zbyt optymistyczni, przewidując wyższe nagrody niż faktycznie otrzymane, inni byli bardziej pesymistyczni, pomniejszając rzeczywistość. Kiedy naukowcy zmapowali rozkład tych prognoz, dokładnie śledzili rozkład rzeczywistych nagród. Dane te dostarczają przekonujących dowodów na to, że mózg rzeczywiście wykorzystuje dystrybucyjne przewidywania nagrody, aby wzmocnić swój algorytm uczenia się.

Mierząc zachowanie neuronów dopaminowych u myszy, naukowcy odkryli, że rozkład przewidywań neuronów (odkodowanych) ściśle odpowiadał rozkładowi rzeczywistych nagród (prawda podstawowa). DeepMind

To miłe rozszerzenie pojęcia kodowania dopaminowego błędu przewidywania nagrody, napisał w e-mailu Wolfram Schultz, pionier zachowania neuronów dopaminowych, który nie był zaangażowany w badanie. To zdumiewające, jak ta bardzo prosta reakcja na dopaminę w przewidywalny sposób podąża za intuicyjnymi wzorcami podstawowych biologicznych procesów uczenia się, które teraz stają się składnikiem sztucznej inteligencji.

Badanie ma implikacje zarówno dla sztucznej inteligencji, jak i neuronauki. Po pierwsze, weryfikuje uczenie się ze wzmacnianiem dystrybucyjnym jako obiecującą ścieżkę do bardziej zaawansowanych możliwości sztucznej inteligencji. Jeśli mózg go używa, to prawdopodobnie dobry pomysł, powiedział podczas briefingu prasowego Matt Botvinick, dyrektor ds. badań neurologicznych w DeepMind i jeden z głównych autorów artykułu. Mówi nam, że jest to technika obliczeniowa, która może skalować się w rzeczywistych sytuacjach. Będzie dobrze pasować do innych procesów obliczeniowych.

Po drugie, może zaoferować ważną aktualizację jednej z kanonicznych teorii neuronauki na temat systemów nagrody w mózgu, co z kolei może poprawić nasze zrozumienie wszystkiego, od motywacji po zdrowie psychiczne. Co może oznaczać na przykład posiadanie pesymistycznych i optymistycznych neuronów dopaminy? Gdyby mózg selektywnie słuchał tylko jednego lub drugiego, czy mogłoby to doprowadzić do zaburzeń równowagi chemicznej i wywołać depresję?

Zasadniczo, dzięki dalszym procesom dekodowania w mózgu, wyniki rzucają również światło na to, co tworzy ludzką inteligencję. To daje nam nowe spojrzenie na to, co dzieje się w naszych mózgach podczas codziennego życia, powiedział Botvinick.

ukryć