Geoffrey Hinton ma przeczucie, co dalej ze sztuczną inteligencją

Kilonia Mutschelknaus

W listopadzie informatyk i psycholog poznawczy Geoffrey Hinton miał przeczucie. Po półwiecznych próbach – niektórych niezwykle udanych – doszedł do kolejnego obiecującego wglądu w to, jak działa mózg i jak powielić jego obwody w komputerze.

To mój obecny najlepszy zakład na temat tego, jak wszystko do siebie pasuje, mówi Hinton ze swojego domowego biura w Toronto, gdzie był ukrywany podczas pandemii. Jeśli jego zakład się opłaci, może zapoczątkować nową generację sztucznych sieci neuronowych — matematycznych systemów obliczeniowych, luźno inspirowanych neuronami i synapsami mózgu, które są rdzeniem dzisiejszej sztucznej inteligencji. Jego szczerą motywacją, jak sam to określa, jest ciekawość. Jednak praktyczną motywacją — a najlepiej konsekwencją — jest bardziej niezawodna i godna zaufania sztuczna inteligencja.

Hinton, inżynier Google i współzałożyciel Vector Institute for Artificial Intelligence, opisał swoje przeczucie zrywami i pod koniec lutego ogłoszone przez Twitter że zamieścił 44-stronicowy papier na arXiv serwer druku wstępnego. Zaczął od zrzeczenia się: Ten artykuł nie opisuje działającego systemu, napisał. Przedstawia raczej wyimaginowany system. Nazwał to GLOM. Termin pochodzi od aglomeratu i wyrażenia glom razem.

Hinton myśli o GLOM jako o sposobie modelowania ludzkiej percepcji w maszynie — oferuje nowy sposób przetwarzania i przedstawiania informacji wizualnych w sieci neuronowej. Na poziomie technicznym jego wnętrzności polegają na połączeniu podobnych wektorów. Wektory mają fundamentalne znaczenie dla sieci neuronowych — wektor to tablica liczb, która koduje informacje. Najprostszym przykładem jest xyz współrzędne punktu — trzy liczby wskazujące położenie punktu w przestrzeni trójwymiarowej. Wektor sześciowymiarowy zawiera jeszcze trzy informacje — być może wartości czerwono-zielono-niebieskie dla koloru punktu. W sieci neuronowej wektory w setkach lub tysiącach wymiarów reprezentują całe obrazy lub słowa. A mając do czynienia z jeszcze wyższymi wymiarami, Hinton wierzy, że to, co dzieje się w naszych mózgach, obejmuje duże wektory aktywności neuronowej.

W drodze analogii Hinton porównuje swoje łączenie podobnych wektorów z dynamiką komory echa – wzmocnieniem podobnych przekonań. Komora echa to kompletna katastrofa dla polityki i społeczeństwa, ale dla sieci neuronowych to świetna rzecz, mówi Hinton. Pojęcie komór echa odwzorowanych na sieci neuronowe nazywa on wyspami identycznych wektorów lub, bardziej potocznie, wyspami zgodności — kiedy wektory zgadzają się co do natury swoich informacji, wskazują ten sam kierunek.

Gdyby sieci neuronowe były bardziej podobne do ludzi, przynajmniej mogą się mylić w taki sam sposób, jak ludzie, więc uzyskamy wgląd w to, co może ich zmylić.

Geoffrey Hinton

W duchu GLOM osiąga również nieuchwytny cel, jakim jest modelowanie intuicji – Hinton uważa intuicję za kluczową dla percepcji. Definiuje intuicję jako naszą zdolność do bezproblemowego tworzenia analogii. Od dzieciństwa, przez całe życie, nadajemy sens światu, stosując analogiczne rozumowanie, odwzorowując podobieństwa między jednym przedmiotem, ideą lub koncepcją a drugim — lub, jak to ujmuje Hinton, jeden duży wektor na drugi. Mówi, że podobieństwa dużych wektorów wyjaśniają, w jaki sposób sieci neuronowe wykonują intuicyjne, analogiczne rozumowanie. Mówiąc szerzej, intuicja ujmuje niewypowiedziany sposób, w jaki ludzki mózg generuje wgląd. Sam Hinton działa bardzo intuicyjnie – naukowo kieruje się intuicją i narzędziem tworzenia analogii. A jego teoria działania mózgu opiera się na intuicji. Jestem bardzo konsekwentny, mówi.

Hinton ma nadzieję, że GLOM może być jednym z kilku przełomów, które jego zdaniem są potrzebne, zanim sztuczna inteligencja będzie w stanie naprawdę zwinnie rozwiązywać problemy – rodzaj ludzkiego myślenia, które pozwoliłoby systemowi na zrozumienie rzeczy, których nigdy wcześniej nie spotkał; czerpać podobieństwa z przeszłych doświadczeń, bawić się pomysłami, uogólniać, ekstrapolować, rozumieć. Mówi, że gdyby sieci neuronowe były bardziej podobne do ludzi, przynajmniej mogą działać źle w taki sam sposób, jak ludzie, więc dowiemy się, co może ich zmylić.

Na razie jednak sam GLOM to tylko intuicja – to vaporware, mówi Hinton. I przyznaje, że jako akronim ładnie pasuje, Ostatni oryginalny model Geoffa. To przynajmniej jego najnowszy.

Na zewnątrz pudełka

Oddanie Hintona sztucznym sieciom neuronowym (wynalazek z połowy XX wieku) datuje się na początek lat 70. XX wieku. Do 1986 roku poczynił znaczne postępy: podczas gdy początkowo sieci składały się tylko z kilku warstw neuronowych, wejściowych i wyjściowych, Hinton i współpracownicy opracowali technikę głębszej, wielowarstwowej sieci. Jednak minęło 26 lat, zanim moc obliczeniowa i pojemność danych dogoniły i wykorzystały głęboką architekturę.

W 2012 roku Hinton zyskał sławę i bogactwo dzięki przełomowemu przełomowi w nauce głębokiej. Wraz z dwoma studentami zaimplementował wielowarstwową sieć neuronową, która została przeszkolona do rozpoznawania obiektów w ogromnych zbiorach danych obrazowych. Sieć neuronowa nauczyła się iteracyjnie doskonalić klasyfikowanie i identyfikowanie różnych obiektów — na przykład roztocza, grzyba, skutera, kota z Madagaskaru. I wykonał z nieoczekiwanie spektakularną dokładnością.

Powiązana historia

Czy sztuczna inteligencja jeździ na kucyku z jednym trikiem? Prawie każdy postęp AI, o którym słyszałeś, zależy od przełomu, który ma trzy dekady. Utrzymanie tempa postępu będzie wymagało zmierzenia się z poważnymi ograniczeniami sztucznej inteligencji.

Głębokie uczenie zapoczątkowało najnowszą rewolucję AI, zmieniając wizję komputerową i całą dziedzinę. Hinton wierzy głębokie uczenie powinno być prawie wszystkim, co jest potrzebne w pełni replikować ludzką inteligencję.

Jednak pomimo szybkich postępów nadal istnieją poważne wyzwania. Jeśli sieć neuronowa zostanie wystawiona na działanie nieznanego zestawu danych lub obcego środowiska, okaże się, że jest krucha i nieelastyczna. Samojezdne samochody i generatory języka do pisania esejów robią wrażenie, ale sprawy mogą pójść nie tak. Systemy wizualne AI można łatwo pomylić: kubek kawy rozpoznany z boku byłby niewiadomą z góry, gdyby system nie był przeszkolony w tym widoku; a dzięki manipulacji kilkoma pikselami pandę można pomylić ze strusiem, a nawet autobusem szkolnym.

GLOM zajmuje się dwoma najtrudniejszymi problemami systemów percepcji wzrokowej: zrozumieniem całej sceny w kategoriach obiektów i ich naturalnych części; i rozpoznawanie obiektów widzianych z nowego punktu widzenia (GLOM koncentruje się na wizji, ale Hinton spodziewa się, że pomysł można zastosować również do języka).

Na przykład obiekt, taki jak twarz Hintona, składa się z jego żywych, choć zmęczonych psimi oczami (zbyt wiele osób zadających pytania, za mało snu), ust i uszu oraz wydatnego nosa, a wszystko to zwieńczone niezbyt - niechlujny potargany głównie szary. A biorąc pod uwagę jego nos, można go łatwo rozpoznać nawet na pierwszy rzut oka w widoku z profilu.

Oba te czynniki – relacja część-całość i punkt widzenia – są z perspektywy Hintona kluczowe dla tego, jak ludzie widzą. Mówi, że jeśli GLOM kiedykolwiek zadziała, będzie robił percepcję w sposób znacznie bardziej ludzki niż obecne sieci neuronowe.

Grupowanie części w całości może być jednak trudnym problemem dla komputerów, ponieważ części są czasami niejednoznaczne. Koło może być okiem, pączkiem lub kołem. Jak wyjaśnia Hinton, pierwsza generacja systemów wizyjnych AI próbowała rozpoznawać obiekty, opierając się głównie na geometrii relacji część-całość – orientacji przestrzennej między częściami oraz między częściami a całością. Zamiast tego druga generacja opierała się głównie na głębokim uczeniu — pozwalając sieci neuronowej na pociąganie dużych ilości danych. Dzięki GLOM Hinton łączy najlepsze aspekty obu podejść.

Jest w tym pewna intelektualna pokora, którą lubię, mówi Gary Marcus, założyciel i dyrektor generalny Robust.AI oraz znany krytyk głębokiego polegania na uczeniu głębokim. Marcus podziwia gotowość Hintona do zmierzenia się z czymś, co przyniosło mu sławę, przyznając, że to nie do końca działa. To odważne, mówi. I świetnym środkiem naprawczym jest powiedzenie: „Próbuję myśleć nieszablonowo”.

Architektura GLOM

w rzemieślniczy GLOM Hinton próbował wymodelować niektóre skróty myślowe — intuicyjne strategie lub heurystyki — których ludzie używają do rozumienia świata. GLOM, a nawet większość pracy Geoffa, polega na przyglądaniu się heurystyce, którą ludzie wydają się mieć, budowaniu sieci neuronowych, które same mogą mieć te heurystyki, a następnie wykazaniu, że w rezultacie sieci lepiej radzą sobie z widzeniem, mówi Nick Frosst, komputer naukowiec w startupie językowym w Toronto, który współpracował z Hintonem w Google Brain.

W przypadku percepcji wzrokowej jedną ze strategii jest analizowanie części obiektu — takich jak różne rysy twarzy — i w ten sposób zrozumienie całości. Jeśli zobaczysz określony nos, możesz rozpoznać go jako część twarzy Hintona; jest to hierarchia częściowo-cała. Hinton mówi, że aby zbudować lepszy system wizyjny, mam silną intuicję, że musimy użyć hierarchii częściowo-całej. Ludzkie mózgi rozumieją tę kompozycję część-całość, tworząc coś, co nazywa się drzewem analizy — rozgałęzionym diagramem pokazującym hierarchiczną relację między całością, jej częściami i podczęściami. Sama twarz znajduje się na szczycie drzewa, a jej oczy, nos, uszy i usta tworzą gałęzie poniżej.

Jednym z głównych celów Hintona w GLOM jest replikacja drzewa analizy w sieci neuronowej — to odróżniałoby je od sieci neuronowych, które pojawiły się wcześniej. Z przyczyn technicznych jest to trudne. Jest to trudne, ponieważ każdy pojedynczy obraz byłby przetworzony przez osobę w unikalne drzewo analizowania, więc chcielibyśmy, aby sieć neuronowa robiła to samo, mówi Frosst. Trudno jest uzyskać coś ze statyczną architekturą — siecią neuronową — aby przybrać nową strukturę — ​​drzewo analizy — dla każdego nowego obrazu, który widzi. Hinton podejmował różne próby. GLOM to poważna rewizja jego poprzedniej próby z 2017 roku, połączona z innymi powiązanymi postępami w tej dziedzinie.

Jestem częścią nosa!

GLOM wektor

MS TECH | EVIATAR BACH PRZEZ WIKIMEDIA

Uogólniony sposób myślenia o architekturze GLOM jest następujący: interesujący obraz (np. zdjęcie twarzy Hintona) jest podzielony na siatkę. Każdy obszar siatki jest miejscem na obrazie — w jednym miejscu może znajdować się tęczówka oka, a w innym czubek jego nosa. Dla każdej lokalizacji w sieci jest około pięciu warstw lub poziomów. A poziom po poziomie system dokonuje prognozy z wektorem reprezentującym treść lub informację. Na poziomie u dołu wektor reprezentujący położenie czubka nosa może przewidzieć: jestem częścią nosa! A na wyższym poziomie, budując bardziej spójną reprezentację tego, co widzi, wektor może przewidzieć: jestem częścią twarzy w widoku z boku!

Ale w takim razie pytanie brzmi, czy sąsiednie wektory na tym samym poziomie są zgodne? Kiedy się zgadzają, wektory wskazują ten sam kierunek, ku tej samej konkluzji: Tak, oboje należymy do tego samego nosa. Albo dalej w górę drzewa parsowania. Tak, oboje należymy do tej samej twarzy.

Szukanie konsensusu co do natury obiektu — co do tego, czym dokładnie jest obiekt — iteracyjnie wektory GLOM, lokalizacja po lokalizacji i warstwa po warstwie, średnia z sąsiadującymi wektorami obok, jak również przewidywane wektory z poziomów powyżej i poniżej .

Jednak sieć nie osiąga przeciętnej wartości z byle kim w pobliżu, mówi Hinton. Uśrednia selektywnie, z sąsiednimi prognozami, które wykazują podobieństwa. To jest dość dobrze znane w Ameryce, nazywa się to komorą echa, mówi. To, co robisz, to akceptowanie tylko opinii osób, które już się z tobą zgadzają; a potem pojawia się komora echa, w której cała masa ludzi ma dokładnie to samo zdanie. GLOM faktycznie wykorzystuje to w konstruktywny sposób. Analogicznym zjawiskiem w systemie Hintona są wyspy zgody.

Geoff jest bardzo niezwykłym myślicielem...

Sue Becker

Wyobraź sobie grupę ludzi w pokoju, wykrzykujących niewielkie zmiany tego samego pomysłu, mówi Frosst – lub wyobraź sobie tych ludzi jako wektory wskazujące na niewielkie zmiany tego samego kierunku. Po pewnym czasie zbiegaliby się do jednej idei i wszyscy czuliby ją silniej, ponieważ potwierdzili ją inni ludzie wokół nich. W ten sposób wektory GLOM wzmacniają i wzmacniają wspólne przewidywania dotyczące obrazu.

GLOM wykorzystuje te wyspy wektorów zgodności, aby wykonać sztuczkę reprezentowania drzewa parsowania w sieci neuronowej. Podczas gdy niektóre niedawne sieci neuronowe stosują zgodność między wektorami dla aktywacja GLOM korzysta z umowy na reprezentacja — budowanie reprezentacji rzeczy w sieci. Na przykład, gdy kilka wektorów zgadza się, że wszystkie reprezentują część nosa, ich małe skupisko zgody razem reprezentuje nos w drzewie analizy sieci dla twarzy. Kolejna niewielka grupa zgodnych wektorów może reprezentować usta w drzewie parsowania; a duża gromada na szczycie drzewa reprezentowałaby wyłaniający się wniosek, że obraz jako całość to twarz Hintona. Hinton wyjaśnia, że ​​sposób, w jaki drzewo analizy jest tutaj reprezentowane, polega na tym, że na poziomie obiektu mamy dużą wyspę; części obiektu to mniejsze wysepki; podczęści to jeszcze mniejsze wyspy i tak dalej.

Rysunek 2 z artykułu GLOM Hintona. Wyspy identycznych wektorów (strzałki tego samego koloru) na różnych poziomach reprezentują drzewo analizy.

GEOFFREY HINTON

Według długoletniego przyjaciela i współpracownika Hintona, Yoshuy Bengio, informatyka z Uniwersytetu w Montrealu, jeśli GLOMowi uda się rozwiązać inżynierskie wyzwanie polegające na przedstawieniu drzewa analizującego w sieci neuronowej, byłoby to wyczynem — byłoby to ważne dla prawidłowe działanie sieci neuronowych. Geoff wielokrotnie w swojej karierze stworzył niezwykle potężne intuicje, z których wiele okazało się słusznych, mówi Bengio. Dlatego zwracam na nie uwagę, zwłaszcza gdy czuje do nich tak samo mocno, jak do GLOM-u.

Siła przekonania Hintona jest zakorzeniona nie tylko w analogii komory echa, ale także w matematycznych i biologicznych analogiach, które zainspirowały i uzasadniły niektóre decyzje projektowe w nowatorskiej inżynierii GLOM.

Geoff jest bardzo niezwykłym myślicielem, ponieważ jest w stanie czerpać ze złożonych pojęć matematycznych i integrować je z ograniczeniami biologicznymi, aby rozwijać teorie, mówi Sue Becker, była studentka Hintona, obecnie neuronaukowiec kognitywny w McMaster University. Badacze, którzy są bardziej skoncentrowani na teorii matematycznej lub neurobiologii, znacznie rzadziej rozwiązują nieskończenie fascynującą zagadkę, w jaki sposób maszyny i ludzie mogą się uczyć i myśleć.

Przekształcenie filozofii w inżynierię

Jak dotąd nowy pomysł Hintona został dobrze przyjęty, zwłaszcza w niektórych z największych na świecie komór echa. Na Twitterze dostałem dużo lajków, mówi. I youtube samouczek powołał się na termin MeGLOMania.

Hinton jako pierwszy przyznaje, że obecnie GLOM to niewiele więcej niż zadumy filozoficzne (przed przejściem na psychologię eksperymentalną spędził rok jako student filozofii). Jeśli pomysł w filozofii brzmi dobrze, to jest dobry – mówi. Skąd kiedykolwiek miałbyś filozoficzny pomysł, który brzmi jak śmieć, ale w rzeczywistości okazuje się prawdziwy? To nie uchodziłoby za pomysł filozoficzny. Dla porównania nauka jest pełna rzeczy, które brzmią jak kompletne bzdury, ale okazują się działać wyjątkowo dobrze – na przykład sieci neuronowe, mówi.

GLOM został zaprojektowany tak, aby brzmieć filozoficznie wiarygodnie. Ale czy to zadziała?

Chris Williams, profesor uczenia maszynowego w School of Informatics na Uniwersytecie w Edynburgu, spodziewa się, że GLOM może zrodzić wielkie innowacje. Jednak, jak mówi, tym, co odróżnia AI od filozofii, jest to, że możemy używać komputerów do testowania takich teorii. Możliwe, że w wyniku takich eksperymentów ujawniona zostanie wada pomysłu – być może również naprawiona – mówi. W tej chwili nie sądzę, że mamy wystarczających dowodów, aby ocenić prawdziwe znaczenie tego pomysłu, chociaż uważam, że jest on bardzo obiecujący.

Dane wejściowe modelu testowego GLOM to dziesięć elips, które tworzą owcę lub twarz.

LAURA CULP

Niektórzy koledzy Hintona z Google Research w Toronto są na bardzo wczesnym etapie eksperymentalnego badania GLOM. Laura Culp, inżynier oprogramowania, która implementuje nowe architektury sieci neuronowych, używa symulacji komputerowej, aby sprawdzić, czy GLOM może wytworzyć wyspy zgodności Hintona w zrozumieniu części i całości obiektu, nawet jeśli części wejściowe są niejednoznaczne. W eksperymentach części to 10 elips, owali o różnej wielkości, które można ułożyć w twarz lub owcę.

Przy przypadkowych danych wejściowych jednej lub drugiej elipsy model powinien być w stanie przewidywać, mówi Culp, i radzić sobie z niepewnością, czy elipsa jest częścią twarzy, czy owcy i czy jest nogą owcy. lub głowa owcy. W konfrontacji z wszelkimi perturbacjami model powinien również być w stanie sam się korygować. Następnym krokiem jest ustalenie punktu odniesienia, wskazującego, czy standardowa sieć neuronowa głębokiego uczenia zostałaby zdezorientowana takim zadaniem. Jak dotąd GLOM jest ściśle nadzorowany — Culp tworzy i oznacza dane, podpowiadając model i wywierając presję na znalezienie prawidłowych prognoz i osiągnięcie sukcesu w czasie. (Wersja nienadzorowana nosi nazwę GLUM – to żart, mówi Hinton.)

Na tym wstępnym stanie jest zbyt wcześnie, aby wyciągać jakiekolwiek ważne wnioski. Culp czeka na więcej numerów. Mimo to Hinton jest pod wrażeniem. Prosta wersja GLOM może spojrzeć na 10 elips i zobaczyć twarz i owcę na podstawie relacji przestrzennych między elipsami, mówi. Jest to trudne, ponieważ pojedyncza elipsa nie mówi nic o typie obiektu, do którego należy, ani o części tego obiektu.

Ogólnie rzecz biorąc, Hinton jest zadowolony z opinii. Po prostu chciałem to udostępnić społeczności, aby każdy, kto lubi, mógł go wypróbować, mówi. Lub spróbuj jakiejś podkombinacji tych pomysłów. A to zmieni filozofię w naukę.

ukryć