211service.com
Jak sztuczka pamięciowa DeepMind pomaga AI uczyć się szybciej
Inteligentne maszyny mają na celowniku ludzi. Maszyny do głębokiego uczenia się mają już nadludzkie umiejętności, jeśli chodzi o zadania takie jak rozpoznawanie twarzy, granie w gry wideo, a nawet starożytna chińska gra Go. Łatwo więc pomyśleć, że ludzie są już pokonani.
Ale nie tak szybko. Inteligentne maszyny wciąż pozostają w tyle za ludźmi w jednym kluczowym obszarze wydajności: szybkości, z jaką się uczą. Jeśli chodzi na przykład o opanowanie klasycznych gier wideo, najlepsze maszyny do głębokiego uczenia się potrzebują około 200 godzin gry, aby osiągnąć ten sam poziom umiejętności, który ludzie osiągają w ciągu zaledwie dwóch godzin.
Dlatego informatycy bardzo chcieliby mieć jakiś sposób na przyspieszenie tempa uczenia się maszyn.
Dzisiaj Alexander Pritzel i koledzy z filii Google DeepMind w Londynie twierdzą, że właśnie to zrobili. Ci faceci zbudowali maszynę do głębokiego uczenia się, która jest zdolna do szybkiego przyswajania nowych doświadczeń, a następnie na ich podstawie. Rezultatem jest maszyna, która uczy się znacznie szybciej niż inne i może dorównać ludziom w niezbyt odległej przyszłości.
Najpierw trochę tła. Głębokie uczenie wykorzystuje warstwy sieci neuronowych do wyszukiwania wzorców w danych. Gdy pojedyncza warstwa dostrzeże rozpoznany wzór, wysyła tę informację do następnej warstwy, która szuka wzorców w tym sygnale i tak dalej.
Tak więc w rozpoznawaniu twarzy jedna warstwa może szukać krawędzi na obrazie, następna warstwa okrągłych wzorów krawędzi (takich, jakie tworzą oczy i usta), a następna trójkątnych wzorów, takich jak te utworzone przez dwoje oczu i ust. Kiedy to wszystko się dzieje, ostateczny wynik jest wskazówką, że twarz została zauważona.
Oczywiście diabeł tkwi w szczegółach. Istnieją różne systemy informacji zwrotnej, które umożliwiają systemowi naukę poprzez dostosowanie różnych parametrów wewnętrznych, takich jak wytrzymałość połączeń między warstwami. Parametry te muszą zmieniać się powoli, gdyż duża zmiana w jednej warstwie może katastrofalnie wpłynąć na uczenie się w kolejnych warstwach. Właśnie dlatego głębokie sieci neuronowe wymagają tak wielu szkoleń i dlatego trwa to tak długo.
Pritzel i spółka rozwiązali ten problem za pomocą techniki, którą nazywają nerwową kontrolą epizodyczną. Mówią, że neuronowa kontrola epizodyczna wykazuje radykalną poprawę szybkości uczenia się w wielu różnych środowiskach. Co najważniejsze, nasz agent jest w stanie szybko uchwycić się wysoce skutecznych strategii, gdy tylko zostaną one doświadczone, zamiast czekać na wiele kroków optymalizacji.
Podstawową ideą podejścia DeepMind jest skopiowanie sposobu, w jaki ludzie i zwierzęta szybko się uczą. Ogólny konsensus jest taki, że ludzie mogą radzić sobie z sytuacjami na dwa różne sposoby. Jeśli sytuacja jest znajoma, nasze mózgi stworzyły już jej model, na podstawie którego wypracowują, jak najlepiej się zachowywać. Wykorzystuje to część mózgu zwaną korą przedczołową.
Ale kiedy sytuacja nie jest znana, nasze mózgi muszą wrócić do innej strategii. Uważa się, że wymaga to znacznie prostszego podejścia polegającego na testowaniu i zapamiętywaniu, obejmującego hipokamp. Więc próbujemy czegoś i pamiętamy wynik tego odcinka. Jeśli się powiedzie, spróbujemy ponownie i tak dalej. Ale jeśli nie jest to udany odcinek, staramy się go unikać w przyszłości.
To epizodyczne podejście wystarcza na krótką metę, podczas gdy nasz mózg przedczołowy się uczy. Ale wkrótce przewyższa ją kora przedczołowa i jej podejście oparte na modelu.
Pritzel i spółka wykorzystali to podejście jako inspirację. Ich nowy system ma dwa podejścia. Pierwszy to konwencjonalny system głębokiego uczenia się, który naśladuje zachowanie kory przedczołowej. Drugi bardziej przypomina hipokamp. Gdy system próbuje czegoś nowego, zapamiętuje wynik.
Ale co najważniejsze, nie uczy się, o czym należy pamiętać. Zamiast tego pamięta wszystko. Nasza architektura nie próbuje nauczyć się, kiedy zapisywać w pamięci, ponieważ może to być powolne w nauce i zająć dużo czasu, mówią Pritzel i spółka. Zamiast tego decydujemy się zapisywać wszystkie doświadczenia w pamięci i pozwalamy jej na bardzo duży wzrost w porównaniu z istniejącymi architekturami pamięci.
Następnie używają zestawu strategii, aby szybko odczytać z tej dużej pamięci. W rezultacie system może szybciej chwytać się skutecznych strategii niż konwencjonalne systemy uczenia głębokiego.
Następnie demonstrują, jak dobrze to wszystko działa, trenując swoją maszynę do grania w klasyczne gry wideo na Atari, takie jak Breakout, Pong i Space Invaders. (Jest to plac zabaw, którego DeepMind używał do trenowania wielu maszyn do głębokiego uczenia się).
Zespół, w skład którego wchodzi współzałożyciel DeepMind Demis Hassibis, pokazuje, że neuronowa kontrola epizodyczna znacznie przewyższa inne podejścia do głębokiego uczenia się pod względem szybkości uczenia się. Nasze eksperymenty pokazują, że neuronalna kontrola epizodyczna wymaga o rząd wielkości mniej interakcji ze środowiskiem, mówią.
To imponująca praca o dużym potencjale. Naukowcy twierdzą, że oczywistym rozszerzeniem tych prac jest przetestowanie ich nowego podejścia w bardziej złożonych środowiskach 3D.
Ciekawie będzie zobaczyć, jakie środowiska wybiera zespół i jaki będzie to miało wpływ na rzeczywisty świat. Nie możemy się doczekać, aby zobaczyć, jak to działa.
Ref: Neuronowa kontrola epizodyczna: arxiv.org/abs/1703.01988