211service.com
Sieci neuronowe uczą się, o czym należy pamiętać, a o czym zapomnieć
Głębokie uczenie się zmienia sposób, w jaki używamy i myślimy o maszynach. Obecne wcielenia są lepsze od ludzi we wszelkiego rodzaju zadaniach, od szachów i Go do rozpoznawania twarzy i rozpoznawania obiektów.
Jednak wiele aspektów uczenia maszynowego pozostaje znacznie w tyle za ludzką wydajnością. W szczególności ludzie mają niezwykłą zdolność do ciągłego aktualizowania swoich wspomnień o najważniejszą wiedzę, jednocześnie nadpisując informacje, które nie są już przydatne.
To ważna umiejętność. Świat zapewnia niekończące się źródło danych, z których większość nie ma znaczenia dla trudnej sprawy przetrwania, a większości z nich nie można przechowywać w ograniczonej pamięci. Tak więc ludzie i inne stworzenia wyewoluowały sposoby, aby zachować ważne umiejętności, zapominając o tych nieistotnych.
Obecnie uczy się sieci neuronowych, jak zapominać.
Tego samego nie można powiedzieć o maszynach. Każda umiejętność, której się nauczą, jest szybko nadpisywana, niezależnie od tego, jak ważna jest. Obecnie nie ma niezawodnego mechanizmu, za pomocą którego można by nadać priorytet tym umiejętnościom, decydując, o czym należy pamiętać, ao czym zapomnieć.
Dziś wygląda na to, że zmieni się to dzięki pracy Rahafa Aljundi i kolegów z Uniwersytetu w Leuven w Belgii oraz Facebook AI Research. Ci faceci pokazali, że podejście, którego używają systemy biologiczne do uczenia się i zapominania, może działać również ze sztucznymi sieciami neuronowymi.
Kluczem jest proces znany jako uczenie Hebbowskie, po raz pierwszy zaproponowany w latach czterdziestych XX wieku przez kanadyjskiego psychologa Donalda Hebba, aby wyjaśnić sposób, w jaki mózg uczy się poprzez plastyczność synaptyczną. Teorię Hebba można słynnie podsumować jako ogniwa, które razem wystrzeliwują, łączą się ze sobą.
Innymi słowy, połączenia między neuronami stają się silniejsze, jeśli działają razem, a zatem połączenia te są trudniejsze do zerwania. W ten sposób się uczymy – powtarzające się, zsynchronizowane odpalanie neuronów sprawia, że połączenia między nimi są silniejsze i trudniejsze do nadpisania.
Tak więc Aljundi i spółka opracowali sposób, aby sztuczne sieci neuronowe zachowywały się w ten sam sposób. Robią to, mierząc wyjścia z sieci neuronowej i monitorując wrażliwość na zmiany w połączeniach w sieci.
Daje im to poczucie, które parametry sieci są najważniejsze i dlatego należy je zachować. Zespół twierdzi, że podczas uczenia się nowego zadania zmiany ważnych parametrów są karane. Mówią, że powstała sieć ma synapsy świadome pamięci.
Przeprowadzili ten pomysł na próbę za pomocą zestawu testów, w których sieć neuronowa wyszkolona do robienia jednej rzeczy otrzymuje dane, które szkolą ją do robienia czegoś innego. Na przykład sieć wyszkoloną do rozpoznawania kwiatów jest następnie pokazywana ptakom. Następnie naukowcy pokazują, że ponownie zakwita, aby zobaczyć, jak wiele z tej umiejętności zostało zachowanych.
Sieci neuronowe z synapsami świadomymi pamięci okazują się działać lepiej w tych testach niż inne sieci. Innymi słowy, zachowują więcej oryginalnej umiejętności niż sieci bez tej umiejętności, chociaż wyniki z pewnością pozwalają na ulepszenia
Kluczową kwestią jest jednak to, że zespół znalazł sposób, aby sieci neuronowe wykorzystywały uczenie Hebbowskie. Pokazujemy, że lokalna wersja naszej metody jest bezpośrednim zastosowaniem zasady Hebba w identyfikacji ważnych połączeń między neuronami, powiedzmy Aljundi i spółka.
Ma to wpływ na przyszłość uczenia maszynowego. Jeśli ci naukowcy mogą ulepszyć swoją wersję Hebbowskiego uczenia się, powinno to sprawić, że maszyny będą bardziej elastyczne w ich uczeniu się. A to pozwoli im lepiej dostosować się do realnego świata.
Nr ref.: arxiv.org/abs/1711.09601 : Synapsy uświadamiające pamięć: uczenie się, czego (nie) należy zapomnieć