Czy sztuczna inteligencja jeździ na kucyku z jednym trikiem?

Prawie każdy postęp AI, o którym słyszałeś, zależy od przełomu, który ma trzy dekady. Utrzymanie tempa postępu będzie wymagało zmierzenia się z poważnymi ograniczeniami sztucznej inteligencji. Za pomocą

• James Somers strona archiwum

29 września 2017 r.

Adam Objazd

Stoję w miejscu, które wkrótce stanie się centrum świata, a może jest to po prostu bardzo duży pokój na siódmym piętrze lśniącej wieży w centrum Toronto. Oprowadza mnie Jordan Jacobs, który jest współzałożycielem tego miejsca: rodzącego się Instytutu Vector, który otwiera swoje podwoje tej jesieni i którego celem jest stanie się globalnym epicentrum sztucznej inteligencji.

Jesteśmy w Toronto, ponieważ Geoffrey Hinton jest w Toronto, a Geoffrey Hinton jest ojcem głębokiego uczenia się, techniki stojącej za obecnym podekscytowaniem sztuczną inteligencją. Za 30 lat spojrzymy wstecz i powiemy, że Geoff to Einstein – sztucznej inteligencji, głębokiego uczenia się, rzeczy, którą nazywamy sztuczną inteligencją, mówi Jacobs. Spośród naukowców zajmujących czołowe miejsce w dziedzinie głębokiego uczenia, Hinton ma więcej cytowań niż trzy następne razem wzięte. Jego studenci i doktoranci prowadzili laboratoria sztucznej inteligencji w Apple, Facebooku i OpenAI; Sam Hinton jest głównym naukowcem w zespole Google Brain AI. W rzeczywistości prawie każde osiągnięcie w ostatniej dekadzie sztucznej inteligencji — w tłumaczeniu, rozpoznawaniu mowy, rozpoznawaniu obrazów i graniu w gry — w jakiś sposób wywodzi się z pracy Hintona.

Ta historia była częścią naszego wydania z listopada 2017 r.

• Zobacz resztę numeru
• Subskrybuj

Vector Institute, pomnik wznoszący się na szczyt pomysłów Hintona, jest centrum badawczym, w którym firmy z całych Stanów Zjednoczonych i Kanady — takie jak Google, Uber i Nvidia — będą sponsorować wysiłki na rzecz komercjalizacji technologii sztucznej inteligencji. Pieniądze napłynęły szybciej, niż Jacobs mógłby o nie poprosić; Dwóch z jego współzałożycieli przeprowadziło ankietę wśród firm w Toronto i okazało się, że zapotrzebowanie na ekspertów ds. sztucznej inteligencji było dziesięciokrotnie wyższe niż co roku w Kanadzie. Vector jest w pewnym sensie punktem zerowym dla ogólnoświatowej próby mobilizacji wokół głębokiego uczenia się: zarabiania na technice, uczenia jej, udoskonalania i stosowania. Powstają centra danych, wieże zapełniają się startupami, w teren wyjeżdża całe pokolenie studentów.

Wrażenie, jakie odnosisz, stojąc na podłodze Vector, nagiej, rozbrzmiewającej echem i tuż przed wypełnieniem, jest takie, że jesteś na początku czegoś. Ale osobliwą cechą głębokiego uczenia się jest to, jak stare są jego kluczowe idee. Przełomowy artykuł Hintona, wraz z kolegami Davidem Rumelhartem i Ronaldem Williamsem, został opublikowany w 1986 roku. W artykule omówiono technikę zwaną backpropagation, w skrócie backprop. Backprop, według słów Jona Cohena, psychologa obliczeniowego z Princeton, jest tym, na czym opiera się całe uczenie głębokie — dosłownie na wszystkim.

Kiedy to ogarniesz, sztuczna inteligencja to dziś głębokie uczenie się, a głębokie uczenie to backprop — co jest niesamowite, biorąc pod uwagę, że backprop ma ponad 30 lat. Warto zrozumieć, jak to się stało – jak technika mogła czekać tak długo, a następnie spowodować taką eksplozję – ponieważ kiedy zrozumiesz historię backprop, zaczniesz rozumieć aktualny moment w AI, a w szczególności fakt że może nie jesteśmy na początku rewolucji. Może jesteśmy na końcu jednego.

Windykacja

Spacer z Vector Institute do biura Hintona w Google, gdzie spędza większość czasu (teraz jest emerytowanym profesorem na Uniwersytecie w Toronto), jest rodzajem żywej reklamy miasta, przynajmniej w okresie letnim. Możesz zrozumieć, dlaczego Hinton, który pochodzi z Wielkiej Brytanii, przeprowadził się tutaj w latach 80. po pracy na Carnegie Mellon University w Pittsburghu.

Kiedy wychodzisz na zewnątrz, nawet w centrum, w pobliżu dzielnicy finansowej, czujesz się, jakbyś naprawdę poszedł na łono natury. Myślę, że to zapach: mokra glina w powietrzu. Toronto zostało zbudowane na zalesionych wąwozach i mówi się, że jest to miasto w parku; ponieważ jest zurbanizowany, lokalne władze nałożyły surowe ograniczenia na utrzymanie korony drzew. Kiedy lecisz, zewnętrzne części miasta wyglądają niemal jak kreskówkowo bujne.

Może tak naprawdę nie jesteśmy na początku rewolucji.

Toronto jest czwartym co do wielkości miastem w Ameryce Północnej (po Meksyku, Nowym Jorku i LA) i jest najbardziej zróżnicowane: ponad połowa populacji urodziła się poza Kanadą. Możesz to zobaczyć chodząc. Tłum na korytarzu technicznym nie wygląda tak jak w San Francisco — młodzi biali faceci w bluzach — a bardziej na międzynarodowy. Jest bezpłatna opieka zdrowotna i dobre szkoły publiczne, ludzie są przyjaźni, a porządek polityczny jest stosunkowo lewicowy i stabilny; i to przyciąga ludzi takich jak Hinton, który twierdzi, że opuścił USA z powodu afery Iran-Contra. To jedna z pierwszych rzeczy, o których rozmawiamy, kiedy idę się z nim spotkać, tuż przed lunchem.

Większość ludzi w CMU uważała, że ​​inwazja USA na Nikaraguę była całkowicie rozsądna, mówi. W jakiś sposób myśleli, że jest ich właścicielem. Mówi mi, że miał ostatnio duży przełom w projekcie: pozyskał bardzo dobrego młodszego inżyniera, który ze mną pracuje, kobiety o imieniu Sara Sabour. Sabour jest Irańczykiem i odmówiono jej wizy do pracy w Stanach Zjednoczonych. Przechwyciło ją biuro Google w Toronto.

Hinton, który ma 69 lat, ma miłą, szczupłą, anglojęzyczną twarz Wielkiego Przyjaznego Olbrzyma, z wąskimi ustami, dużymi uszami i dumnym nosem. Urodził się w Wimbledonie w Anglii, a kiedy mówi, brzmi jak narrator dziecięcej książki o nauce: ciekawy, wciągający, chętny do wyjaśnienia. Jest zabawny i trochę showman. Stoi przez cały czas naszej rozmowy, bo jak się okazuje siedzenie jest zbyt bolesne. Usiadłem w czerwcu 2005 roku i powiedział mi, że to był błąd, pozwalając dziwacznej linii wylądować, zanim wyjaśnił, że dysk w jego plecach sprawia mu kłopoty. Oznacza to, że nie może latać, a wcześniej tego dnia musiał przynieść do gabinetu dentystycznego urządzenie, które wyglądało jak deska surfingowa, aby mógł na nim leżeć podczas badania pękniętego korzenia zęba.

W latach 80. Hinton był, tak jak teraz, ekspertem od sieci neuronowych, znacznie uproszczonego modelu sieci neuronów i synaps w naszych mózgach. Jednak w tamtym czasie zdecydowano, że sieci neuronowe są ślepym zaułkiem w badaniach nad sztuczną inteligencją. Chociaż najwcześniejsza sieć neuronowa, Perceptron, która zaczęła być opracowywana w latach pięćdziesiątych, została okrzyknięta pierwszym krokiem w kierunku inteligencji maszynowej na poziomie człowieka, książka autorstwa Marvina Minsky'ego i Seymoura Paperta z MIT z 1969 roku zatytułowana Perceptrony , dowiodło matematycznie, że takie sieci mogą wykonywać tylko najbardziej podstawowe funkcje. Sieci te miały tylko dwie warstwy neuronów, warstwę wejściową i warstwę wyjściową. Sieci z większą liczbą warstw między neuronami wejściowymi i wyjściowymi mogły teoretycznie rozwiązać wiele różnych problemów, ale nikt nie wiedział, jak je trenować, więc w praktyce były bezużyteczne. Z wyjątkiem kilku opór, takich jak Hinton, Perceptrony spowodowało, że większość ludzi całkowicie zrezygnowała z sieci neuronowych.

Przełomem Hintona w 1986 roku było wykazanie, że propagacja wsteczna może wytrenować głęboką sieć neuronową, czyli taką, która ma więcej niż dwie lub trzy warstwy. Jednak zajęło to kolejne 26 lat, zanim zwiększenie mocy obliczeniowej przyniosło dobre rezultaty w odkryciu. Artykuł z 2012 r. Hinton i dwóch jego uczniów z Toronto wykazali, że głębokie sieci neuronowe, wytrenowane przy użyciu wstecznej propagacji, pokonują najnowocześniejsze systemy rozpoznawania obrazów. Rozpoczęło się głębokie uczenie. Zewnętrznemu światu sztuczna inteligencja wydawała się budzić w nocy. Dla Hintona była to od dawna spóźniona zapłata.

Pole zniekształcenia rzeczywistości

Sieć neuronowa jest zwykle rysowana jak kanapka klubowa, z warstwami ułożonymi jedna na drugiej. Warstwy zawierają sztuczne neurony, które są głupimi małymi jednostkami obliczeniowymi, które są podekscytowane – w taki sposób, w jaki wzbudza się prawdziwy neuron – i przekazują to podekscytowanie innym neuronom, z którymi są połączone. Podekscytowanie neuronu jest reprezentowane przez liczbę, na przykład 0,13 lub 32,39, która mówi, jak bardzo jest podekscytowany. I jest jeszcze jedna kluczowa liczba, na każdym z połączeń między dwoma neuronami, która określa, jak bardzo podekscytowanie powinno zostać przekazane z jednego na drugie. Ta liczba ma na celu modelowanie siły synaps między neuronami w mózgu. Gdy liczba jest wyższa, oznacza to, że połączenie jest silniejsze, więc więcej emocji jednej osoby przepływa do drugiej.

Diagram z przełomowych prac Hintona, Davida Rumelharta i Ronalda Williamsa na temat propagacji błędów.

Jednym z najbardziej udanych zastosowań głębokich sieci neuronowych jest rozpoznawanie obrazów — tak jak w pamiętnej scenie w HBO Dolina Krzemowa gdzie zespół tworzy program, który może stwierdzić, czy na zdjęciu jest hot dog. Takie programy rzeczywiście istnieją i dziesięć lat temu nie byłyby możliwe. Aby zmusić je do pracy, pierwszym krokiem jest zrobienie zdjęcia. Dla uproszczenia powiedzmy, że jest to mały czarno-biały obrazek o szerokości 100 pikseli i wysokości 100 pikseli. Przesyłasz ten obraz do sieci neuronowej, ustawiając podekscytowanie każdego symulowanego neuronu w warstwie wejściowej tak, aby było równe jasności każdego piksela. To dolna warstwa kanapki klubowej: 10 000 neuronów (100x100) reprezentujących jasność każdego piksela na obrazie.

Następnie łączysz tę dużą warstwę neuronów z inną dużą warstwą neuronów nad nią, powiedzmy kilka tysięcy, a te z kolei z kolejną warstwą kolejnych kilku tysięcy neuronów i tak dalej przez kilka warstw. Wreszcie, w najwyższej warstwie kanapki, warstwie wyjściowej, masz tylko dwa neurony — jeden reprezentujący hot doga, a drugi nie hot doga. Chodzi o to, aby nauczyć sieć neuronową wzbudzać tylko pierwszy z tych neuronów, jeśli na zdjęciu jest hot dog, a tylko drugi, jeśli go nie ma. Propagacja wsteczna — technika, na której Hinton zbudował swoją karierę — jest metodą na zrobienie tego.

Backprop jest niezwykle prosty, choć najlepiej sprawdza się przy dużych ilościach danych. Właśnie dlatego duże zbiory danych są tak ważne w sztucznej inteligencji — dlaczego Facebook i Google są tak głodne i dlatego Vector Institute postanowił założyć sklep przy czterech największych kanadyjskich szpitalach i nawiązać z nimi współpracę w zakresie danych.

W tym przypadku dane mają postać milionów zdjęć, niektóre z hot dogami, a inne bez; Sztuczka polega na tym, że te zdjęcia są oznaczone jako, które mają hot dogi. Kiedy po raz pierwszy tworzysz swoją sieć neuronową, połączenia między neuronami mogą mieć losowe wagi — losowe liczby, które mówią, jak dużo emocji ma przekazać każde połączenie. To tak, jakby synapsy mózgu nie zostały jeszcze dostrojone. Celem backprop jest zmiana tych wag, aby sieć działała: aby po przejściu obrazu hot doga do najniższej warstwy, neuron hot doga najwyższej warstwy był podekscytowany.

Załóżmy, że robisz swój pierwszy obraz treningowy i jest to obraz fortepianu. Konwertujesz intensywność pikseli obrazu 100x100 na 10 000 liczb, po jednej dla każdego neuronu w dolnej warstwie sieci. Gdy podekscytowanie rozprzestrzenia się w sieci zgodnie z siłą połączeń między neuronami w sąsiednich warstwach, ostatecznie trafi do ostatniej warstwy, tej z dwoma neuronami, które mówią, czy na zdjęciu jest hot dog. Ponieważ obraz przedstawia fortepian, w idealnym przypadku neuron hot dog powinien mieć na sobie zero, podczas gdy neuron nie hot dog powinien mieć wysoką liczbę. Ale powiedzmy, że to nie działa w ten sposób. Powiedzmy, że sieć myli się co do tego obrazu. Backprop to procedura rejiggeringu siły każdego połączenia w sieci tak, aby naprawić błąd dla danego przykładu treningu.

Działa to tak, że zaczynasz od dwóch ostatnich neuronów i dowiadujesz się, jak bardzo się mylili: jaka jest różnica między wartościami podekscytowania, które powinny być, a czym faktycznie były? Kiedy to zrobisz, przyjrzysz się każdemu z połączeń prowadzących do tych neuronów — tych w następnej niższej warstwie — i określisz ich wkład w błąd. Robisz to, dopóki nie przejdziesz do pierwszego zestawu połączeń, na samym dole sieci. W tym momencie wiesz, w jakim stopniu każde pojedyncze połączenie przyczyniło się do ogólnego błędu, a na ostatnim etapie zmieniasz każdą z wag w kierunku, który najlepiej zmniejsza ogólny błąd. Technika ta nazywa się propagacją wsteczną, ponieważ propagujesz błędy z powrotem (lub w dół) przez sieć, zaczynając od danych wyjściowych.

Niesamowitą rzeczą jest to, że kiedy robisz to z milionami lub miliardami obrazów, sieć zaczyna całkiem dobrze sprawdzać, czy obraz zawiera hot doga. A jeszcze bardziej niezwykłe jest to, że poszczególne warstwy tych siatek rozpoznawania obrazów zaczynają widzieć obrazy w taki sam sposób, jak robi to nasz własny system wizualny. Oznacza to, że pierwsza warstwa może w końcu wykryć krawędzie, w tym sensie, że jej neurony są podekscytowane, gdy są krawędzie i nie są podekscytowane, gdy ich nie ma; warstwa powyżej tej może być w stanie wykryć zestawy krawędzi, takie jak narożniki; warstwa powyżej tej może zacząć widzieć kształty; a warstwa powyżej tej może zacząć znajdować rzeczy takie jak otwarta bułka lub zamknięta bułka, w sensie posiadania neuronów, które reagują na każdy przypadek. Innymi słowy, sieć organizuje się w warstwy hierarchiczne, nigdy nie została w ten sposób wyraźnie zaprogramowana.

Prawdziwa inteligencja nie pęka, gdy nieznacznie zmienisz problem.

To jest rzecz, która wszystkich fascynuje. Nie chodzi tylko o to, że sieci neuronowe są dobre w klasyfikowaniu zdjęć hot dogów lub czegokolwiek innego: wydają się być w stanie tworzyć reprezentacje pomysłów. Dzięki tekstowi możesz to zobaczyć jeszcze wyraźniej. Możesz wprowadzić tekst Wikipedii, składający się z wielu miliardów słów, do prostej sieci neuronowej, ucząc ją, aby wypluwała dla każdego słowa dużą listę liczb, które odpowiadają pobudzeniu każdego neuronu w warstwie. Jeśli myślisz o każdej z tych liczb jako o współrzędnej w złożonej przestrzeni, to zasadniczo to, co robisz, to znajdowanie punktu, znanego w tym kontekście jako wektor, dla każdego słowa gdzieś w tej przestrzeni. Teraz wytrenuj swoją sieć w taki sposób, aby słowa pojawiające się obok siebie na stronach Wikipedii miały podobne współrzędne i voila, dzieje się coś szalonego: słowa o podobnym znaczeniu zaczynają pojawiać się obok siebie w przestrzeni. Oznacza to, że szaleni i niezrównoważeni będą mieć współrzędne blisko siebie, podobnie jak trzy i siedem, i tak dalej. Co więcej, tak zwana arytmetyka wektorowa umożliwia, powiedzmy, odjęcie wektora dla Francji od wektora dla Paryża, dodanie wektora dla Włoch i wylądowanie w okolicach Rzymu. Działa tak, że nikt nie mówi sieci wprost, że Rzym jest dla Włoch tak, jak Paryż dla Francji.

To niesamowite, mówi Hinton. To szokujące. Sieci neuronowe można traktować jako próbę przejęcia rzeczy — obrazów, słów, nagrań kogoś mówiącego, danych medycznych — i umieszczenia ich w czymś, co matematycy nazywają wielowymiarową przestrzenią wektorową, w której bliskość lub odległość rzeczy odzwierciedla pewną ważną cechę rzeczywistego świata. Hinton uważa, że ​​właśnie to robi sam mózg. Jeśli chcesz wiedzieć, czym jest myśl, mówi, mogę wyrazić ją w ciągu słów. Mogę powiedzieć „John pomyślał, ups”. Ale jeśli zapytasz: „Jaka jest myśl? Co to znaczy, że John ma taką myśl? Nie chodzi o to, że w jego głowie znajduje się cytat otwierający, „Ups” i cytat końcowy, a nawet jego oczyszczona wersja. Wewnątrz jego głowy jest jakiś duży wzór aktywności neuronowej. Jeśli jesteś matematykiem, duże wzorce aktywności neuronowej można uchwycić w przestrzeni wektorowej, gdzie aktywność każdego neuronu odpowiada liczbie, a każda liczba współrzędnej naprawdę dużego wektora. Według Hintona tym właśnie jest myśl: tańcem wektorów.

Geoffrey Hinton Dzięki uprzejmości google

To nie przypadek, że właśnie od tego faktu została nazwana flagowa instytucja AI w Toronto. Hinton był tym, który wymyślił nazwę Vector Institute.

Hinton tworzy coś w rodzaju pola zniekształcającego rzeczywistość, atmosferę pewności i entuzjazmu, która daje poczucie, że nie ma niczego, czego nie mogą zrobić wektory. W końcu spójrz na to, co udało im się już wyprodukować: samochody, które same jeżdżą, komputery wykrywające raka, maszyny, które natychmiast tłumaczą język mówiony. I spójrz na tego uroczego brytyjskiego naukowca, który opowiada o gradiencie w wielowymiarowych przestrzeniach!

Dopiero po wyjściu z pokoju pamiętasz: te systemy głębokiego uczenia się nadal są dość głupie, pomimo tego, jak czasami wydają się sprytne. Komputer, który widzi zdjęcie stosu pączków ułożonego na stole i automatycznie podpisuje go, tak jak stos pączków ułożony na stole zdaje się rozumieć świat; ale kiedy ten sam program widzi zdjęcie dziewczyny myjącej zęby i mówi: Chłopiec trzyma kij bejsbolowy, zdajesz sobie sprawę, jak wątłe jest to zrozumienie, jeśli w ogóle tam było.

Sieci neuronowe są po prostu bezmyślnymi aparatami do rozpoznawania rozmytych wzorców i są tak przydatne, jak mogą być rozpoznawane rozmyte wzorce — stąd pośpiech, aby zintegrować je z niemal każdym rodzajem oprogramowania — reprezentują w najlepszym razie ograniczoną odmianę inteligencji, którą można łatwo oszukać . Głęboka sieć neuronowa, która rozpoznaje obrazy, może zostać całkowicie zakłócona, gdy zmienisz pojedynczy piksel lub dodasz wizualny szum, który jest niezauważalny dla człowieka. Rzeczywiście, prawie tak często, jak odkrywamy nowe sposoby zastosowania głębokiego uczenia się, odkrywamy więcej jego ograniczeń. Samochody autonomiczne mogą nie radzić sobie w warunkach, których nigdy wcześniej nie widziały. Maszyny mają problem z analizowaniem zdań, które wymagają zdroworozsądkowego zrozumienia tego, jak działa świat.

Głębokie uczenie się w pewien sposób naśladuje to, co dzieje się w ludzkim mózgu, ale tylko w płytki sposób – co być może wyjaśnia, dlaczego jego inteligencja może czasami wydawać się tak płytka. Rzeczywiście, podpory nie odkryto przez sondowanie w głąb mózgu, dekodowanie samej myśli; wyrósł z modeli uczących się zwierząt metodą prób i błędów w starych eksperymentach z warunkowaniem klasycznym. A większość wielkich skoków, które pojawiły się w miarę rozwoju, nie obejmowała nowego wglądu w neuronaukę; były to ulepszenia techniczne, osiągnięte przez lata matematyki i inżynierii. To, co wiemy o inteligencji, nie jest niczym przeciwko ogromowi tego, czego wciąż nie wiemy.

David Duvenaud, adiunkt na tym samym wydziale co Hinton na Uniwersytecie w Toronto, mówi, że głębokie uczenie było trochę jak inżynieria przed fizyką. Ktoś pisze gazetę i mówi: „Zrobiłem ten most i wstał!” Inny facet ma gazetę: „Zrobiłem ten most i się zawalił — ale potem dodałem filary, a potem pozostał”. gorąca nowa rzecz. Ktoś wymyśla łuki i mówi: „Łuki są świetne!” Mówi, że dzięki fizyce można naprawdę zrozumieć, co zadziała i dlaczego. Mówi, że dopiero niedawno zaczęliśmy wchodzić w tę fazę rzeczywistego zrozumienia za pomocą sztucznej inteligencji.

Sam Hinton mówi: Większość konferencji polega na wprowadzaniu drobnych zmian… w przeciwieństwie do intensywnego myślenia i mówienia: „Co takiego jest w tym, co robimy teraz, że jest tak naprawdę niedoskonałe? Z czym ma trudności? Skupmy się na tym.

Może być trudno docenić to z zewnątrz, kiedy wszystko, co widzisz, to jeden wielki postęp reklamowany za drugim. Ale najnowszy postęp w sztucznej inteligencji był mniej nauką niż inżynierią, a nawet majsterkowaniem. I chociaż zaczęliśmy lepiej rozumieć, jakiego rodzaju zmiany poprawią systemy uczenia głębokiego, nadal nie mamy pojęcia, jak te systemy działają i czy mogą kiedykolwiek dodać do czegoś tak potężnego, jak umysł ludzki.

Warto zapytać, czy wykręciliśmy prawie wszystko, co w naszej mocy, z podpory tylnej. Jeśli tak, może to oznaczać plateau postępu w sztucznej inteligencji.

Cierpliwość

Jeśli chcesz zobaczyć kolejną wielką rzecz, coś, co może stanowić podstawę maszyn o znacznie bardziej elastycznej inteligencji, prawdopodobnie powinieneś sprawdzić badania, które przypominają to, co znalazłbyś, gdybyś natknął się na wsparcie w latach 80.: mądrzy ludzie odrzucanie pomysłów, które tak naprawdę jeszcze nie działają.

Kilka miesięcy temu poszedłem do Centrum Umysłów, Mózgów i Maszyn, wieloinstytucjonalnego przedsięwzięcia z siedzibą w MIT, aby zobaczyć, jak mój przyjaciel, Eyal Dechter, broni swojej pracy doktorskiej z kognitywistyki. Tuż przed rozpoczęciem rozmowy jego żona Amy, ich pies Ruby i ich córka Susannah kręciły się wokół, życząc mu wszystkiego dobrego. Na ekranie pojawiło się zdjęcie Ruby, a obok niego zdjęcie małej Susannah. Kiedy tata poprosił Susannah, by się wskazała, z radością uderzyła długim, chowanym wskaźnikiem na swoje zdjęcie dziecka. Wychodząc z pokoju, poprowadziła za mamą wózek dziecięcy i krzyknęła: Powodzenia, tatusiu! przez jej ramię. Wamano! powiedziała w końcu. Ma dwa lata.

Fakt, że to nie działa, to tylko chwilowa irytacja.

Eyal rozpoczął swoją przemowę od urzekającego pytania: Jak to się dzieje, że Susannah, po dwóch latach doświadczenia, może nauczyć się mówić, bawić się, śledzić historie? Co takiego jest w ludzkim mózgu, że tak dobrze się uczy? Czy kiedykolwiek komputer będzie w stanie uczyć się tak szybko i płynnie?

Nadajemy sens nowym zjawiskom w kategoriach rzeczy, które już rozumiemy. Dzielimy domenę na kawałki i uczymy się kawałków. Eyal jest matematykiem i programistą komputerowym, a zadania — takie jak robienie sufletu — traktuje jak naprawdę złożone programy komputerowe. Ale to nie jest tak, że uczysz się robić suflet, ucząc się każdej z miliardów mikroinstrukcji programu, takich jak Obróć łokieć o 30 stopni, potem spójrz w dół na blat, a potem wyciągnij palec wskazujący, a potem… Gdybyś musiała zrobić że przy każdym nowym zadaniu nauka byłaby zbyt trudna i utknąłbyś z tym, co już wiesz. Zamiast tego przedstawiamy program w kategoriach kroków wysokiego poziomu, takich jak Ubij białka jajek, które same w sobie składają się z podprogramów, takich jak Crack the eggs i Oddziel żółtka.

Powiązana historia

Powiązana historia Nikt tak naprawdę nie wie, jak najbardziej zaawansowane algorytmy robią to, co robią. To może być problem.

Komputery tego nie robią i to jest duża część powodu, dla którego są głupie. Aby system głębokiego uczenia się rozpoznawał hot doga, być może będziesz musiał nakarmić go 40 milionami zdjęć hot dogów. Aby Susannah rozpoznała hot doga, pokazujesz jej hot doga. I niedługo zrozumie język, który będzie głębszy niż rozpoznanie, że niektóre słowa często pojawiają się razem. W przeciwieństwie do komputera będzie miała w głowie model działania całego świata. To trochę niewiarygodne dla mnie, że ludzie boją się komputerów odbierających pracę, mówi Eyal. Nie chodzi o to, że komputery nie zastąpią prawników, ponieważ prawnicy robią naprawdę skomplikowane rzeczy. To dlatego, że prawnicy czytają i rozmawiają z ludźmi. To nie tak, że jesteśmy blisko. Jesteśmy tak daleko.

Prawdziwa inteligencja nie pęka, gdy nieznacznie zmieniasz wymagania problemu, który próbuje rozwiązać. Kluczową częścią tezy Eyala była zasadnicza demonstracja tego, w jaki sposób można sprawić, by komputer działał w ten sposób: płynnie stosować to, co już wie, do nowych zadań, aby szybko oderwać się od wiedzy prawie nic o nowej domenie. do bycia ekspertem.

Hinton wykonał ten szkic dla swojego kolejnego wielkiego pomysłu, aby uporządkować sieci neuronowe za pomocą „kapsułek”.

Zasadniczo jest to procedura, którą nazywa algorytmem eksploracji i kompresji. Sprawia, że ​​komputer działa trochę jak programista, który buduje bibliotekę modułowych komponentów wielokrotnego użytku na drodze do budowania coraz bardziej złożonych programów. Bez informowania o nowej domenie komputer próbuje uporządkować wiedzę na jej temat, po prostu bawiąc się, konsolidując to, co znalazł i bawiąc się trochę więcej, tak jak robi to ludzkie dziecko.

Jego doradca, Joshua Tenenbaum, jest jednym z najczęściej cytowanych badaczy sztucznej inteligencji. Nazwisko Tenenbauma pojawiło się w połowie rozmów, które przeprowadziłem z innymi naukowcami. Niektórzy z kluczowych osób w DeepMind — zespół stojący za AlphaGo, który zaszokował informatyków, pokonując mistrza świata w złożonej grze Go w 2016 r. — pracował jako jego postdoc. Jest zaangażowany w startup, który stara się dać samojezdnym samochodom intuicję na temat podstawowych zasad fizyki i intencji innych kierowców, aby mogli lepiej przewidzieć, co stanie się w sytuacji, której nigdy wcześniej nie widzieli, na przykład gdy ciężarówka wali przed lub gdy ktoś próbuje się bardzo agresywnie łączyć.

Teza Eyala nie przekłada się jeszcze na tego rodzaju praktyczne zastosowania, nie mówiąc już o programach, które trafiałyby na nagłówki gazet, by pokonać człowieka. Problemy, nad którymi pracuje Eyal, są po prostu bardzo, bardzo trudne, powiedział Tenenbaum. To zajmie wiele, wiele pokoleń.

Tenenbaum ma długie, kręcone, wybielające włosy, a gdy usiedliśmy na kawę, miał na sobie zapinaną na guziki koszulę z czarnymi spodniami. Powiedział mi, że szuka inspiracji w historii podpory. Przez dziesięciolecia podpora była fajną matematyką, która tak naprawdę niczego nie osiągnęła. Gdy komputery stały się szybsze, a inżynieria bardziej wyrafinowana, nagle tak się stało. Ma nadzieję, że to samo może się stać z jego własną pracą i pracą jego uczniów, ale może to zająć jeszcze kilkadziesiąt lat.

Hinton jest przekonany, że przezwyciężenie ograniczeń sztucznej inteligencji wymaga zbudowania pomostu między informatyką a biologią. Backprop był w tym ujęciu triumfem obliczeń inspirowanych biologicznie; pomysł początkowo pochodził nie z inżynierii, ale z psychologii. Więc teraz Hinton próbuje wykonać podobną sztuczkę.

Dzisiejsze sieci neuronowe składają się z dużych płaskich warstw, ale w ludzkiej korze nowej neurony są ułożone nie tylko poziomo w warstwy, ale pionowo w kolumny. Hinton sądzi, że wie, do czego służą kolumny — na przykład w widzeniu są one kluczowe dla naszej zdolności rozpoznawania obiektów, nawet gdy zmienia się nasz punkt widzenia. Dlatego buduje sztuczną wersję – nazywa je kapsułkami – aby przetestować teorię. Jak dotąd nie wyszło; kapsuły nie poprawiły radykalnie wydajności jego sieci. Ale to była ta sama sytuacja, w której był z podporą przez prawie 30 lat.

To musi być po prostu prawda, mówi o teorii kapsuły, śmiejąc się z własnej śmiałości. A fakt, że to nie działa, to tylko chwilowa irytacja.

James Somers jest pisarzem i programistą mieszkającym w Nowym Jorku. Jego poprzedni artykuł dla Przegląd technologii MIT było Toolkits for the Mind w maju/czerwcu 2015 roku, które pokazało, jak internetowe startupy kształtują używane przez nich języki programowania.

ukryć