Tajny startup Google DeepMind ujawnia „neuronową maszynę Turinga”

Jednym z wielkich wyzwań neuronauki jest zrozumienie krótkotrwałej pamięci roboczej w ludzkim mózgu. Jednocześnie informatycy bardzo chcieliby odtworzyć ten sam rodzaj pamięci w silico .

Dzisiaj tajemniczy startup Google DeepMind, który kupił za 400 milionów dolarów na początku tego roku, przedstawia prototyp komputera, który próbuje naśladować niektóre właściwości krótkotrwałej pamięci roboczej ludzkiego mózgu. Nowy komputer to rodzaj sieci neuronowej, który został przystosowany do współpracy z pamięcią zewnętrzną. Rezultatem jest komputer, który uczy się, przechowując wspomnienia i może później je odzyskać, aby wykonać logiczne zadania wykraczające poza te, do których został przeszkolony.

Przełom DeepMind podąża za długą historią prac nad pamięcią krótkotrwałą. W latach pięćdziesiątych amerykański psycholog poznawczy George Miller przeprowadził jeden z bardziej znanych eksperymentów w historii nauki o mózgu. Miller był zainteresowany pojemnością pamięci roboczej ludzkiego mózgu i postanowił ją zmierzyć z pomocą dużej liczby studentów, których poprosił o wykonanie prostych zadań pamięciowych.

Uderzającym wnioskiem Millera było to, że pojemności pamięci krótkotrwałej nie można określić ilością zawartych w niej informacji. Zamiast tego Miller doszedł do wniosku, że pamięć robocza przechowuje informacje w postaci fragmentów i że może pomieścić około siedmiu z nich.

Rodzi to ciekawe pytanie: co to jest kawałek? W eksperymentach Millera fragment może być pojedynczą cyfrą, taką jak 4, pojedynczą literą, taką jak q, pojedynczym słowem lub małą grupą słów, które razem mają określone znaczenie. Tak więc każdy fragment może reprezentować wszystko, od bardzo małej ilości informacji do niezwykle złożonego pomysłu, który jest odpowiednikiem dużej ilości informacji.

Ale bez względu na to, ile informacji reprezentuje pojedynczy fragment, ludzki mózg może przechowywać tylko około siedmiu z nich w swojej pamięci roboczej.

Oto przykład. Rozważ następujące zdanie: Ta książka to ekscytująca lektura, ze złożoną fabułą i realistycznymi postaciami.

To zdanie składa się z około siedmiu porcji informacji i jest łatwe do opanowania dla każdego zwykłego czytelnika.

Dla kontrastu spróbuj tego zdania: Ta księga o Cesarstwie Rzymskim w pierwszych latach panowania Augusta Cezara pod koniec Republiki Rzymskiej opisuje wydarzenia po krwawej bitwie pod Akcjum w 31 rpne, kiedy młody cesarz pokonał Marka Antoniusza i Kleopatrę poprzez wszechstronne wymanewrowanie ich w poważnym starciu morskim.

To zdanie zawiera co najmniej 20 fragmentów. Więc jeśli uważasz, że jest trudniejszy do czytania, nie powinno to być niespodzianką. Ludzki mózg ma problem z utrzymaniem tak wielu kawałków w pamięci roboczej.

W kognitywistyce zdolność rozumienia składników zdania i przechowywania ich w pamięci roboczej nazywa się wiązaniem zmiennych. Jest to możliwość wzięcia fragmentu danych i przypisania go do slotu w pamięci i powtarzania tego z danymi o różnej długości, takimi jak fragmenty.

W latach 90. i 2000. informatycy wielokrotnie próbowali zaprojektować algorytmy, obwody i sieci neuronowe, które mogłyby wykonać tę sztuczkę. Taki komputer powinien być w stanie przeanalizować proste zdanie, tak jak Mary mówiła do Johna, dzieląc je na części składowe aktora, akcji i odbiorcy akcji. Tak więc w tym przypadku przypisałoby to Mary rolę aktora, rolę działania – wypowiedzianym słowom, a rolę odbiorcy akcji – Johnowi.

Właśnie temu zadaniu zajmuje się praca DeepMind, pomimo bardzo ograniczonej wydajności wcześniejszych maszyn. Nasza architektura czerpie z tej pracy i ją wzmacnia, mówią Alex Graves, Greg Wayne i Ivo Danihelka z DeepMind z siedzibą w Londynie.

Zaczynają od przedefiniowania natury sieci neuronowej. Do tej pory sieci neuronowe były wzorcami połączonych ze sobą neuronów, które są zdolne do zmiany siły połączeń w odpowiedzi na jakiś zewnętrzny sygnał wejściowy. Jest to forma uczenia się, która pozwala im dostrzec podobieństwa między różnymi danymi wejściowymi.

Ale podstawowy proces obliczeniowy zawiera ważny dodatkowy element. Jest to pamięć zewnętrzna, do której można zapisywać i odczytywać w trakcie obliczeń. W słynnym opisie komputera Turinga pamięć jest taśmą, która przechodzi tam iz powrotem przez komputer i przechowuje różnego rodzaju symbole do późniejszego przetwarzania.

Tego rodzaju czytelnej i zapisywalnej pamięci nie ma w konwencjonalnej sieci neuronowej. Więc Graves i spółka po prostu dodali jeden. Dzięki temu sieć neuronowa może przechowywać zmienne w swojej pamięci i wracać do nich później w celu wykorzystania w obliczeniach.

Jest to podobne do sposobu, w jaki zwykły komputer może umieścić cyfry 3 i 4 w rejestrach, a następnie dodać je do liczby 7. Różnica polega na tym, że sieć neuronowa może przechowywać bardziej złożone wzorce zmiennych reprezentujących na przykład słowo Mary .

Ponieważ ta forma przetwarzania danych różni się w istotny sposób od konwencjonalnej sieci neuronowej, Graves i spółka nadają jej nową nazwę — nazywają ją neuronową maszyną Turinga, pierwszą tego rodzaju, jaką zbudowano. Neuralna maszyna Turinga uczy się jak konwencjonalna sieć neuronowa, wykorzystując dane wejściowe, które otrzymuje ze świata zewnętrznego, ale uczy się również, jak przechowywać te informacje i kiedy je pobierać.

Praca DeepMind obejmuje najpierw skonstruowanie urządzenia, a następnie przetestowanie go. Ich eksperymenty składają się z szeregu testów, aby sprawdzić, czy po wytrenowaniu neuronowej maszyny Turinga do wykonywania określonego zadania, może następnie rozszerzyć tę zdolność na większe lub bardziej złożone zadania. Na przykład byliśmy ciekawi, czy sieć, która została przeszkolona do kopiowania sekwencji o długości do 20, może skopiować sekwencję o długości 100 bez dalszego uczenia, powiedzmy Graves i spółka.

Okazuje się, że neuronowa maszyna Turinga uczy się mniej więcej idealnie kopiować sekwencje o długości do 20. A następnie kopiuje sekwencje o długości 30 i 50 z bardzo małą liczbą błędów. W przypadku sekwencji o długości 120 zaczynają wkradać się błędy, w tym jeden błąd, w którym pojedynczy składnik jest zduplikowany, a zatem wszystkie następujące składniki są odpychane o jeden krok wstecz. Pomimo subiektywnej bliskości do poprawnej kopii, prowadzi to do dużej straty, mówi zespół.

Chociaż zaangażowane sekwencje są losowe, nietrudno sobie wyobrazić, w jaki sposób mogą reprezentować bardziej złożone idee, takie jak Mary, rozmawiał z lub John. Ważną kwestią jest to, że ilość informacji zawartych w tych sekwencjach jest zmienna, jak kawałki.

Porównują wydajność swojej neuronowej maszyny Turinga z konwencjonalną siecią neuronową. Różnica jest znacząca. Konwencjonalna sieć neuronowa uczy się kopiować sekwencje o długości do 20 niemal idealnie. Ale jeśli chodzi o sekwencje, które są dłuższe niż dane uczące, błędy natychmiast stają się znaczące. A jego kopia najdłuższego ciągu o długości 120 jest prawie nie do poznania w porównaniu z oryginałem.

Zespół DeepMind testuje Neural Turing Machine w innych zadaniach. Na przykład jeden z nich jest odpowiednikiem fotokopiowania: zadaniem jest skopiowanie sekwencji, a następnie powtórzenie tej sekwencji określoną liczbę razy i zakończenie z góry określonym znacznikiem. Po raz kolejny neuronowa maszyna Turinga znacznie przewyższa konwencjonalną sieć neuronową.

To imponująca praca. Nasze eksperymenty pokazują, że [nasza neuronowa maszyna Turinga] jest w stanie uczyć się prostych algorytmów z przykładowych danych i używać tych algorytmów do uogólniania daleko poza reżimem treningowym, powiedzmy Graves i spółka.

To ważny krok naprzód, który może sprawić, że maszyny obliczeniowe staną się znacznie bardziej mózgowe niż kiedykolwiek wcześniej. Ale przed nami znacząca praca.

W szczególności ludzki mózg wykonuje sprytną sztuczkę, aby zrozumieć złożone argumenty. Interesujące pytanie, które wynika z wczesnej pracy Millera, brzmi: jeśli nasza pamięć robocza jest w stanie obsłużyć tylko siedem kawałków, jak rozumiemy złożone argumenty w książkach, które na przykład składają się z tysięcy lub dziesiątek tysięcy kawałków?

Odpowiedzią Millera jest to, że mózg używa sztuczki znanej jako rekodowanie. Wróćmy do naszego przykładu książki i dodajmy kolejne zdanie: Ta książka to ekscytująca lektura ze złożoną fabułą i realistycznymi postaciami. Zdecydowanie jest wart swojej ceny.

Gdy przeczytasz i zrozumiesz pierwsze zdanie, twój mózg przechowuje te siedem porcji w sposób, który jest dostępny jako pojedyncza porcja w następnym zdaniu. W tym drugim zdaniu zaimek to ten pojedynczy kawałek. Nasz mózg automatycznie wie, że to oznacza: książkę, która jest ekscytującą lekturą ze złożoną fabułą i realistycznymi postaciami. Przekodował siedem wcześniejszych kawałków w jedną.

Dla Millera zdolność mózgu do rekodowania w ten sposób była jednym z kluczy do sztucznej inteligencji. Uważał, że dopóki komputer nie będzie w stanie odtworzyć tej zdolności, nigdy nie dorówna wydajności ludzkiego mózgu.

Firma DeepMind firmy Google stwierdziła, że ​​jej celem jest rozwiązywanie problemów związanych z inteligencją. Jeśli to rozwiązanie przypomina ludzką inteligencję, dobrym testem byłoby sprawdzenie, czy neuronowe maszyny Turinga są w stanie wykonać sztuczkę Millera z rekodowaniem.

Nr ref.: arxiv.org/abs/1410.5401 : Neuronowe maszyny Turinga

ukryć