Geoff Hinton, pionier sztucznej inteligencji: Głębokie uczenie będzie w stanie zrobić wszystko

Noah Berger/AP

• O lukach w dziedzinie sztucznej inteligencji: „Będzie musiało nastąpić sporo przełomów koncepcyjnych… potrzebujemy również ogromnego wzrostu skali”.
• O słabościach sieci neuronowych: „Sieci neuronowe zaskakująco dobrze radzą sobie z raczej niewielką ilością danych, z ogromną liczbą parametrów, ale ludzie są jeszcze lepsi”.
• O tym, jak działają nasze mózgi: „W mózgu znajdują się te duże wektory aktywności nerwowej”.

Nowoczesna rewolucja AI rozpoczęła się podczas niejasnego konkursu badawczego. Był rok 2012, trzeci rok corocznego konkursu ImageNet, w ramach którego zespoły zbudowały komputerowe systemy wizyjne rozpoznające 1000 obiektów, od zwierząt po krajobrazy i ludzi.

W pierwszych dwóch latach najlepszym zespołom nie udało się osiągnąć nawet 75% celności. Ale w trzecim trójka badaczy — profesor i jego studenci — nagle przeleciała przez ten sufit. Wygrali konkurs aż 10,8 punktu procentowego. Tym profesorem był Geoffrey Hinton, a technika, której używali, nazywała się głębokim uczeniem.

Hinton faktycznie pracował z głębokim uczeniem od lat 80., ale jego skuteczność była ograniczona przez brak danych i mocy obliczeniowej. Jego niezachwiana wiara w technikę ostatecznie przyniosła ogromne dywidendy. W czwartym roku konkursu ImageNet prawie każdy zespół korzystał z głębokiego uczenia się i osiągał cudowne przyrosty dokładności. Wkrótce głębokie uczenie zostało zastosowane do zadań wykraczających poza rozpoznawanie obrazu, a także w wielu branżach.

W zeszłym roku, za swój fundamentalny wkład w tę dziedzinę, Hinton otrzymał nagrodę Turinga, wraz z innymi pionierami sztucznej inteligencji, Yannem LeCunem i Yoshuą Bengio. 20 października rozmawiałem z nim na dorocznej konferencji EmTech MIT MIT Technology Review na temat stanu tej dziedziny i tego, dokąd jego zdaniem powinna ona zmierzać w następnej kolejności.

Poniższe zostały zredagowane i skrócone dla jasności.

Myślisz, że głębokie uczenie wystarczy, aby odtworzyć całą ludzką inteligencję. Co czyni Cię takim pewnym?

Wierzę, że głębokie uczenie się będzie w stanie zrobić wszystko, ale myślę, że będzie musiało być sporo przełomów koncepcyjnych. Na przykład w 2017 r. Ashish Vaswani i inni . wprowadzony transformatory , które czerpią naprawdę dobre wektory reprezentujące znaczenia słów. To był przełom koncepcyjny. Jest teraz używany w prawie wszystkich najlepszych procesach przetwarzania języka naturalnego. Będziemy potrzebować więcej takich przełomów.

A jeśli dokonamy tych przełomów, czy będziemy w stanie przybliżyć całą ludzką inteligencję poprzez głębokie uczenie?

Tak. Zwłaszcza przełomy związane z tym, jak uzyskać duże wektory aktywności neuronowej, aby wdrożyć takie rzeczy, jak rozum. Ale potrzebujemy również ogromnego wzrostu skali. Ludzki mózg ma około 100 bilionów parametrów, czyli synaps. To, co teraz nazywamy naprawdę dużym modelem, na przykład GPT-3 , ma 175 miliardów. Jest tysiąc razy mniejszy niż mózg. GPT-3 może teraz generować całkiem wiarygodnie wyglądający tekst i wciąż jest mały w porównaniu z mózgiem.

Kiedy mówisz skala, masz na myśli większe sieci neuronowe, więcej danych, czy jedno i drugie?

Obydwa. Istnieje pewna rozbieżność między tym, co dzieje się w informatyce, a tym, co dzieje się z ludźmi. Ludzie mają ogromną ilość parametrów w porównaniu z ilością danych, które otrzymują. Sieci neuronowe zaskakująco dobrze radzą sobie z niewielką ilością danych, z ogromną liczbą parametrów, ale ludzie są jeszcze lepsi.

Wielu ludzi w tej dziedzinie wierzy, że zdrowy rozsądek jest kolejną wielką umiejętnością, z którą należy się uporać. Czy sie zgadzasz?

Zgadzam się, że to jedna z bardzo ważnych rzeczy. Myślę też, że kontrola motoryczna jest bardzo ważna, a głębokie sieci neuronowe stają się teraz w tym dobre. W szczególności niektóre ostatnie prace w Google wykazały, że można precyzyjnie kontrolować motorykę i połączyć to z językiem, dzięki czemu można otworzyć szufladę i wyjąć blok, a system może powiedzieć w języku naturalnym, co robi.

W przypadku takich rzeczy jak GPT-3, który generuje ten wspaniały tekst, jasne jest, że musi dużo zrozumieć, aby wygenerować ten tekst, ale nie jest do końca jasne, ile rozumie. Ale jeśli coś otwiera szufladę i wyjmuje klocek i mówi, że właśnie otworzyłem szufladę i wyjąłem klocek, to trudno powiedzieć, że nie rozumie, co robi.

Dziedzina sztucznej inteligencji zawsze postrzegała ludzki mózg jako największe źródło inspiracji, a różne podejścia do sztucznej inteligencji wywodzą się z różnych teorii kognitywistyki. Czy wierzysz, że mózg faktycznie buduje reprezentacje świata zewnętrznego, aby go zrozumieć, czy jest to po prostu użyteczny sposób myślenia o tym?

Dawno temu w kognitywistyce toczyła się debata między dwiema szkołami myślenia. Jedną z nich kierował Stephen Kosslyn, który wierzył, że kiedy manipulujesz obrazami w swoim umyśle, masz tablicę pikseli i poruszasz nimi. Druga szkoła myślenia była bardziej zgodna z konwencjonalną sztuczną inteligencją. Powiedział: Nie, nie, to nonsens. To hierarchiczne, strukturalne opisy. Masz w głowie symboliczną strukturę i to jest czym manipulujesz.

Myślę, że oboje popełniali ten sam błąd. Kosslyn myślał, że manipulujemy pikselami, ponieważ zewnętrzne obrazy składają się z pikseli i to jest reprezentacja, którą rozumiemy. Symbol, który ludzie myśleli, że manipulowaliśmy symbolami, ponieważ również przedstawiamy rzeczy w symbolach, i to jest reprezentacja, którą rozumiemy. Myślę, że to jest równie złe. To, co znajduje się w mózgu, to te duże wektory aktywności nerwowej.

Są ludzie, którzy wciąż wierzą, że symboliczna reprezentacja jest jednym z podejść do sztucznej inteligencji.

Absolutnie. Mam dobrych przyjaciół, takich jak Hector Levesque, który naprawdę wierzy w podejście symboliczne i wykonał w tym świetną robotę. Nie zgadzam się z nim, ale podejście symboliczne jest całkiem rozsądną rzeczą do wypróbowania. Ale domyślam się, że w końcu zdamy sobie sprawę, że symbole po prostu istnieją w zewnętrznym świecie i wykonujemy wewnętrzne operacje na dużych wektorach.

Jak myślisz, jaki jest twój najbardziej przekorny pogląd na przyszłość sztucznej inteligencji?

Cóż, moim problemem jest to, że mam te sprzeczne poglądy, a pięć lat później stały się one mainstreamowe. Większość moich przekornych poglądów z lat 80. jest obecnie dość szeroko akceptowana. Obecnie dość trudno jest znaleźć osoby, które się z nimi nie zgadzają. Więc tak, zostałem podważony w moich sprzecznych poglądach.

ukryć