Uczenie maszyn do zrozumienia nas

Kiedy Yann LeCun po raz pierwszy zrewolucjonizował sztuczną inteligencję, był to fałszywy świt. Był rok 1995 i przez prawie dekadę młody Francuz był oddany temu, co wielu informatyków uważało za zły pomysł: że zgrubne naśladowanie pewnych cech mózgu było najlepszym sposobem na stworzenie inteligentnych maszyn. Ale LeCun wykazał, że takie podejście może stworzyć coś niezwykle inteligentnego i użytecznego. Pracując w Bell Labs, stworzył oprogramowanie, które z grubsza symulowało neurony i nauczył się czytać odręczny tekst, patrząc na wiele różnych przykładów. Firma macierzysta Bell Labs, AT&T, użyła go do sprzedaży pierwszych maszyn zdolnych do odczytywania pisma odręcznego na czekach i pisemnych formularzach. LeCunowi i kilku innym wierzącym w sztuczne sieci neuronowe wydawało się to oznaczać początek ery, w której maszyny mogły nauczyć się wielu innych umiejętności, które wcześniej ograniczały się do ludzi. Nie było.

Cały ten projekt zniknął w dniu swojego największego sukcesu, mówi LeCun. W tym samym dniu, w którym świętował uruchomienie bankomatów, które mogły czytać tysiące czeków na godzinę, AT&T ogłosił, że podział na trzy firmy dedykowane dla różnych rynków w komunikacji i informatyce. LeCun został szefem badań w szczuplejszej AT&T i został skierowany do pracy nad innymi rzeczami; w 2002 odszedł z AT&T, by wkrótce zostać profesorem na Uniwersytecie Nowojorskim. Tymczasem naukowcy z innych krajów odkryli, że nie mogą zastosować przełomu LeCun do innych problemów komputerowych. Inspirowane mózgiem podejście do sztucznej inteligencji powróciło do marginalnego zainteresowania.

Ta historia była częścią naszego wydania z września 2015 r.

• Zobacz resztę numeru
• Subskrybuj

LeCun, teraz przysadzisty 55-latek z gotowym uśmiechem i ciemnymi włosami na boki z siwizną, nigdy nie przestał dążyć do tego marginalnego zainteresowania. I co ciekawe, reszta świata się zmieniła. Idee, które on i kilku innych pielęgnował w obliczu ponad dwóch dekad apatii, a czasem wręcz odrzucenia, przyniosły w ciągu ostatnich kilku lat uderzające rezultaty w dziedzinach takich jak rozpoznawanie twarzy i mowy. Głębokie uczenie, jak obecnie znana jest ta dziedzina, stało się nowym polem bitwy między Google a innymi wiodącymi firmami technologicznymi, które ścigają się, by wykorzystać je w usługach konsumenckich. Jedną z takich firm jest Facebook, który zatrudnił LeCuna z NYU w grudniu 2013 r. i powierzył mu kierowanie nową grupą badawczą sztucznej inteligencji, FAIR, która obecnie liczy 50 badaczy, ale wzrośnie do 100. Laboratorium LeCuna jest pierwszą znaczącą inwestycją Facebooka w fundamentalne badań i może to mieć kluczowe znaczenie dla prób firmy, by stać się czymś więcej niż tylko wirtualnym miejscem społecznościowym. Może również zmienić nasze oczekiwania co do możliwości maszyn.

Facebook i inne firmy, w tym Google, IBM i Microsoft, posunęły się szybko, aby wejść w ten obszar w ciągu ostatnich kilku lat, ponieważ głębokie uczenie jest znacznie lepsze niż wcześniejsze techniki sztucznej inteligencji w nauce komputerów nabyć umiejętności, które rzucają wyzwanie maszynom, takie jak rozumienie zdjęć . Te bardziej ugruntowane techniki wymagają od ludzkich ekspertów mozolnego programowania pewnych umiejętności, takich jak wykrywanie linii i narożników na obrazach. Oprogramowanie do głębokiego uczenia się wymyśla, jak samemu nadać sens danym, bez takiego programowania. Niektóre systemy mogą teraz rozpoznawać obrazy lub twarze mniej więcej tak dokładnie jak ludzie.

Teraz LeCun dąży do czegoś znacznie potężniejszego. Chce dostarczać oprogramowanie z umiejętnościami językowymi i zdrowym rozsądkiem potrzebne do podstawowej konwersacji. Zamiast komunikować się z maszynami poprzez klikanie przycisków lub wpisywanie starannie wybranych wyszukiwanych haseł, moglibyśmy po prostu powiedzieć im, czego chcemy, tak jakbyśmy rozmawiali z inną osobą. Nasze relacje ze światem cyfrowym zmienią się całkowicie dzięki inteligentnym agentom, z którymi możesz wchodzić w interakcje, przewiduje. Uważa, że ​​głębokie uczenie się może stworzyć oprogramowanie, które rozumie nasze zdania i może odpowiadać odpowiednimi odpowiedziami, wyjaśniającymi pytaniami lub własnymi sugestiami.

Agenci, którzy odpowiadają na pytania merytoryczne lub rezerwują dla nas restauracje, są jedną z oczywistych – jeśli nie do końca zmieniającą świat – aplikacją. Łatwo też zauważyć, w jaki sposób takie oprogramowanie może prowadzić do bardziej stymulujących postaci z gier wideo lub usprawnić naukę online. Bardziej prowokacyjnie, LeCun mówi, że systemy, które rozumieją zwykły język, mogą nas poznać na tyle dobrze, aby zrozumieć, co jest dla nas dobre. Takie systemy powinny być w stanie zrozumieć nie tylko to, czym ludzie będą się bawić, ale także to, co powinni zobaczyć, niezależnie od tego, czy im się to spodoba, mówi. Takie wyczyny nie są możliwe przy użyciu technik stosowanych w wyszukiwarkach, filtrach antyspamowych i wirtualnych asystentach, którzy próbują nas dzisiaj zrozumieć. Często ignorują kolejność słów i radzą sobie ze statystycznymi sztuczkami, takimi jak dopasowywanie i liczenie słów kluczowych. Siri firmy Apple, na przykład, próbuje dopasować to, co mówisz, do niewielkiej liczby kategorii, które wyzwalają odpowiedzi skryptowe. Tak naprawdę nie rozumieją tekstu, mówi LeCun. To niesamowite, że w ogóle działa. Tymczasem systemy, które wydają się opanować złożone zadania językowe, takie jak IBM Niebezpieczeństwo! zwycięzca Watson, zrób to, będąc superspecjalistą w określonym formacie. To fajna demonstracja, ale nie działa, która naprawdę przekładałaby się na jakąkolwiek inną sytuację, mówi.

W przeciwieństwie do tego, oprogramowanie do głębokiego uczenia się może być w stanie lepiej zrozumieć język niż ludzie. Badacze z Facebooka, Google i innych firm opracowują oprogramowanie, które wykazało postęp w zrozumieniu znaczenia słów. Zespół LeCuna dysponuje systemem zdolnym do czytania prostych historii i odpowiadania na pytania na ich temat, czerpiąc z takich umiejętności, jak dedukcja logiczna i szczątkowe rozumienie czasu.

Jednak, jak LeCun wie z pierwszej ręki, sztuczna inteligencja słynie z nagłych postępów, które podsycają prognozy dużych skoków naprzód, ale ostatecznie zmieniają niewiele. Stworzenie oprogramowania, które poradzi sobie z olśniewającą złożonością języka, jest większym wyzwaniem niż nauczenie go rozpoznawania obiektów na obrazach. Przydatność uczenia głębokiego do rozpoznawania mowy i wykrywania obrazów jest niekwestionowana, ale nadal jest tylko przypuszczeniem, że opanuje język i radykalnie zmieni nasze życie. Nie wiemy jeszcze na pewno, czy deep learning to moment, który okaże się czymś znacznie większym.

Głęboka historia

Korzenie głębokiego uczenia się sięgają dalej niż czas LeCun w Bell Labs. On i kilku innych, którzy byli pionierami tej techniki, w rzeczywistości reanimowali dawno martwy pomysł dotyczący sztucznej inteligencji.

Kiedy pole to zaczęło się, w latach pięćdziesiątych, biolodzy dopiero zaczynali opracowywać proste matematyczne teorie na temat tego, w jaki sposób inteligencja i uczenie się wyłaniają się z sygnałów przechodzących między neuronami w mózgu. Podstawową ideą – wciąż obecną do dziś – było to, że połączenia między neuronami są wzmacniane, jeśli te komórki często się komunikują. Strzelanina aktywności neuronowej wywołana przez nowe doświadczenie dostosowuje połączenia mózgu, aby mógł lepiej je zrozumieć za drugim razem.

W 1956 roku psycholog Frank Rosenblatt wykorzystał te teorie do wynalezienia sposobu na wykonanie prostych symulacji neuronów w oprogramowaniu i sprzęcie. ten New York Times ogłosił swoją pracę z nagłówkiem Elektroniczny „mózg” uczy się sam . Perceptron Rosenblatta, jak nazwał swój projekt, mógł nauczyć się sortować proste obrazy na kategorie – na przykład trójkąty i kwadraty. Rosenblatt zwykle wdrażał swoje pomysły na gigantyczne maszyny gęsto splątane z przewodami, ale ustanowiły podstawowe zasady, które działają obecnie w sztucznych sieciach neuronowych.

Głębokie uczenie się jest dobre w dyktowaniu i rozpoznawaniu obrazów. Ale czy może opanować ludzki język?

Jeden zbudowany przez niego komputer miał osiem symulowanych neuronów, zbudowanych z silników i tarcz połączonych z 400 detektorami światła. Każdy z neuronów otrzymał część sygnałów z detektorów światła, połączył je i, w zależności od tego, do czego się zsumował, wypluł albo jeden lub 0 . Razem te cyfry składały się na opis tego, co perceptron widział. Początkowo wyniki były śmieciowe. Ale Rosenblatt zastosował metodę zwaną uczeniem nadzorowanym, aby wytrenować perceptron w celu generowania wyników, które prawidłowo rozróżniają różne kształty. Pokazywałby perceptronowi obraz wraz z poprawną odpowiedzią. Następnie maszyna dostosowywałaby, ile uwagi każdy neuron poświęcał swoim sygnałom przychodzącym, przesuwając te wagi w kierunku ustawień, które dawałyby właściwą odpowiedź. Po wielu przykładach, te poprawki dały komputerowi wystarczająco dużo inteligencji, aby poprawnie kategoryzować obrazy, których nigdy wcześniej nie widział. Dzisiejsze sieci głębokiego uczenia się wykorzystują wyrafinowane algorytmy i mają miliony symulowanych neuronów z miliardami połączeń między nimi. Ale są szkoleni w ten sam sposób.

Rosenblatt przewidział, że perceptrony będą wkrótce zdolne do takich wyczynów, jak witanie ludzi po imieniu, a jego pomysł stał się podporą rodzącej się dziedziny sztucznej inteligencji. Prace koncentrowały się na tworzeniu perceptronów z bardziej złożonymi sieciami, ułożonymi w hierarchię wielu warstw uczenia się. Przekazywanie obrazów lub innych danych sukcesywnie przez warstwy umożliwiłoby perceptronowi rozwiązywanie bardziej złożonych problemów. Niestety algorytm uczenia Rosenblatta nie działał na wielu warstwach. W 1969 pionier sztucznej inteligencji Marvin Minsky, który chodził do liceum razem z Rosenblatt, opublikował książkę: obszerna krytyka perceptronów który zabił zainteresowanie sieciami neuronowymi podczas udaru. Minsky twierdził, że uruchomienie większej liczby warstw nie sprawi, że perceptrony będą wystarczająco silne, aby były użyteczne. Naukowcy zajmujący się sztuczną inteligencją porzucili pomysł tworzenia oprogramowania, które uczyło się. Zamiast tego zwrócili się do używania logiki, aby stworzyć działające aspekty inteligencji – takie jak umiejętność szachów. Sieci neuronowe zostały zepchnięte na margines informatyki.

Niemniej jednak LeCun był zahipnotyzowany, gdy czytał o perceptronach jako student inżynierii w Paryżu na początku lat 80. XX wieku. Byłem zdumiony, że to działa i zastanawiałem się, dlaczego ludzie to porzucili, mówi. Spędził wiele dni w bibliotece naukowej niedaleko Wersalu, polując na artykuły opublikowane przed wymarciem perceptronów. Potem odkrył, że niewielka grupa naukowców w Stanach Zjednoczonych ponownie potajemnie pracuje nad sieciami neuronowymi. Mówi, że to był bardzo podziemny ruch. W artykułach starannie oczyszczonych ze słów takich jak neuronowy i uczących się unikania odrzucenia przez recenzentów, pracowali nad czymś bardzo podobnym do starego problemu Rosenblatta, jak trenować sieci neuronowe z wieloma warstwami.

LeCun dołączył do podziemia po tym, jak w 1985 roku spotkał się z jego centralnymi postaciami, w tym z ironicznym Brytyjczykiem Geoffem Hintonem, który obecnie pracuje w Google i na Uniwersytecie Toronto. Natychmiast stali się przyjaciółmi, wzajemnymi wielbicielami — i zalążkiem małej społeczności, która ożywiła ideę sieci neuronowych. Podtrzymywali je przekonanie, że wykorzystanie podstawowego mechanizmu znanego z naturalnej inteligencji jest jedynym sposobem na zbudowanie sztucznej inteligencji. Jedyną metodą, o której wiedzieliśmy, że działa, był mózg, więc na dłuższą metę musiało być tak, że system mógł zadziałać, mówi Hinton.

Sukces LeCuna w Bell Labs nastąpił po tym, jak on, Hinton i inni udoskonalili algorytm uczenia sieci neuronowych z wieloma warstwami. To było znane jako wsteczna propagacja i wywołało przypływ zainteresowania psychologów i informatyków. Ale po zakończeniu projektu odczytu czeków LeCun, propagacja wsteczna okazała się trudna do przystosowania do innych problemów, a nowy sposób uczenia oprogramowania do sortowania danych został wymyślony przez badacza z Bell Labs na końcu korytarza z LeCun. Nie obejmował symulowanych neuronów i był postrzegany jako matematycznie bardziej elegancki. Bardzo szybko stał się podstawą firm internetowych, takich jak Google, Amazon i LinkedIn, które wykorzystują go do trenowania systemów blokujących spam lub sugerowania rzeczy do kupienia.

Po tym, jak LeCun dostał się do NYU w 2003 roku, on, Hinton i trzeci współpracownik, profesor Uniwersytetu Montrealskiego Yoshua Bengio, utworzyli coś, co LeCun nazywa spiskiem głębokiego uczenia się. Aby udowodnić, że sieci neuronowe byłyby przydatne, po cichu opracowali sposoby na ich powiększanie, trenowanie z większymi zestawami danych i uruchamianie ich na mocniejszych komputerach. System rozpoznawania pisma ręcznego LeCun miał pięć warstw neuronów, ale teraz mogły mieć 10 lub więcej. Około 2010 roku to, co teraz nazwano głębokim uczeniem, zaczęło przebijać znane techniki w rzeczywistych zadaniach, takich jak sortowanie obrazów. Microsoft, Google i IBM dodały go do systemów rozpoznawania mowy. Jednak sieci neuronowe wciąż były obce większości badaczy i nie uważano ich za zbyt użyteczne. Na początku 2012 roku LeCun napisał ognisty list – początkowo opublikowane anonimowo — po tym, jak artykuł twierdzący, że ustanowił nowy rekord w standardowym zadaniu wizji, został odrzucony przez wiodącą konferencję. Oskarżył recenzentów o brak wiedzy i negatywne uprzedzenia.

Wszystko zmieniło się sześć miesięcy później. Hinton i dwóch absolwentów użyli sieci podobnej do tej, którą stworzył LeCun do odczytywania czeków, aby pokierować polem w czołowym konkursie rozpoznawania obrazów. Znany jako ImageNet Large Scale Visual Recognition Challenge, wymaga od oprogramowania identyfikacji 1000 rodzajów obiektów tak różnorodnych, jak moskitiery i meczety. Wpis w Toronto poprawnie zidentyfikował obiekt na obrazie w ciągu pięciu domysłów w około 85 procent przypadków, o ponad 10 punktów procentowych lepiej niż drugi najlepszy system. Początkowe warstwy neuronów oprogramowania do uczenia głębokiego zoptymalizowały się pod kątem znajdowania prostych rzeczy, takich jak krawędzie i narożniki, a kolejne warstwy szukały kolejno bardziej złożonych funkcji, takich jak podstawowe kształty i ostatecznie psy lub ludzie.

LeCun przypomina sobie, że widział społeczność, która w większości ignorowała sieci neuronowe, pakując się do pokoju, w którym zwycięzcy zaprezentowali referat na temat swoich wyników. Można było zobaczyć, jak wiele starszych osób w społeczności po prostu przewróciło się, mówi. Powiedzieli: „Dobrze, teraz to kupujemy. To wszystko, teraz – wygrałeś.

Naukowcy pracujący nad wizją komputerową szybko porzucili swoje stare metody, a głębokie uczenie nagle stało się jednym z głównych nurtów sztucznej inteligencji. Google kupił firmę założoną przez Hintona i dwie inne firmy, które przyczyniły się do powstania wyników z 2012 r., a Hinton zaczął tam pracować w niepełnym wymiarze godzin w zespole badawczym znanym jako Google Brain. Microsoft i inne firmy stworzyły nowe projekty w celu zbadania głębokiego uczenia się. W grudniu 2013 r. dyrektor generalny Facebooka, Mark Zuckerberg, zaskoczył naukowców, pojawiając się na największej konferencji poświęconej badaniom sieci neuronowych, organizując przyjęcie, na którym ogłosił, że LeCun rozpoczyna FAIR (choć nadal pracuje na NYU jeden dzień w tygodniu).

LeCun wciąż ma mieszane uczucia co do badań z 2012 roku, które doprowadziły świat do jego punktu widzenia. Do pewnego stopnia powinno to wyjść z mojego laboratorium, mówi. Hinton podziela tę ocenę. Mówi, że to trochę niefortunne dla Yanna, że ​​to nie on dokonał przełomowego systemu. Grupa LeCuna wykonała więcej pracy niż ktokolwiek inny, aby udowodnić techniki wykorzystane do wygrania wyzwania ImageNet. Zwycięstwo mogło być jego, gdyby harmonogramy ukończenia studiów i inne zobowiązania nie przeszkodziły jego własnej grupie w przyjęciu ImageNet, mówi. Poszukiwanie przez LeCuna kolejnego przełomu w uczeniu głębokim jest teraz szansą na wyrównanie punktów.

LeCun w Bell Labs w 1993 roku, z komputerem, który potrafił odczytać pismo odręczne na czekach.

Nauka języka

Nowojorskie biuro Facebooka znajduje się trzy minuty spacerem na Broadway od biura LeCuna na NYU, na dwóch piętrach budynku wybudowanego jako dom towarowy na początku XX wieku. Pracownicy są bardziej stłoczeni w otwartym planie niż w centrali Facebooka w Menlo Park w Kalifornii, ale wciąż można ich zobaczyć, jak suną na przegubowych deskorolkach po ogłoszeniu cotygodniowego ping ponga. Prawie połowa zespołu wiodących badaczy AI LeCun pracuje tutaj, a reszta w kampusie Facebooka w Kalifornii lub w biurze w Paryżu. Wielu z nich próbuje poprawić rozumienie języka przez sieci neuronowe. Zatrudniłem wszystkich pracujących nad tym ludzi, których mogłem, mówi LeCun.

Sieć neuronowa może uczyć się słów, przewijając tekst i obliczając, w jaki sposób każde napotkane słowo można było przewidzieć na podstawie słów przed nim lub po nim. W ten sposób oprogramowanie uczy się reprezentować każde słowo jako wektor, który wskazuje jego związek z innymi słowami — proces, który w niesamowity sposób oddaje pojęcia w języku. Różnica między wektorami króla i królowej jest taka sama, jak na przykład dla męża i żony. Wektory dla papieru i tektury są blisko siebie, a te dla dużych i dużych są jeszcze bliżej.

To samo podejście działa w przypadku całych zdań (Hinton twierdzi, że generuje wektory myśli), a Google chce wykorzystać je do ulepszenia usługi tłumaczenia automatycznego. Niedawny artykuł naukowców z chińskiego uniwersytetu i laboratorium Microsoftu w Pekinie wykorzystał wersję techniki wektorowej do stworzenia oprogramowania, które pokonuje niektórych ludzi w pytaniach IQ-testu, wymagających zrozumienia synonimów, antonimów i analogii.

Grupa LeCun pracuje nad pójściem dalej. Język sam w sobie nie jest aż tak skomplikowany, mówi. To, co jest skomplikowane, to głębokie zrozumienie języka i świata, które daje zdrowy rozsądek. Właśnie to nas naprawdę interesuje wbudowanie w maszyny. LeCun oznacza zdrowy rozsądek, ponieważ Arystoteles użył terminu: zdolność rozumienia podstawowej rzeczywistości fizycznej. Chce, żeby komputer zrozumiał, że zdanie, że Yann podniósł butelkę i wyszedł z pokoju, oznacza butelkę zostawioną przy nim. Badacze Facebooka wynaleźli system głębokiego uczenia się, zwany siecią pamięci, który wyświetla to, co może być wczesnym przejawem zdrowego rozsądku.

Sieć pamięci to sieć neuronowa z przykręconym bankiem pamięci do przechowywania poznanych faktów, dzięki czemu nie są zmywane za każdym razem, gdy pobiera świeże dane. Laboratorium sztucznej inteligencji Facebooka stworzyło wersje, które mogą odpowiedzieć na proste, zdroworozsądkowe pytania dotyczące tekstu, którego nigdy wcześniej nie widzieli. Na przykład, gdy badacze przekazali sieci pamięci bardzo uproszczone podsumowanie fabuły Władca Pierścieni , mógłby odpowiadać na pytania typu Gdzie jest pierścionek? i Gdzie był Frodo przed Górą Przeznaczenia? Mógł zinterpretować prosty świat opisany w tekście, mimo że nigdy wcześniej nie spotkał się z wieloma nazwami lub przedmiotami, takimi jak Frodo czy pierścień.

Oprogramowanie nauczyło się podstawowego zdrowego rozsądku, pokazując, jak odpowiadać na pytania dotyczące prostego tekstu, w którym postacie robią różne rzeczy w szeregu pomieszczeń, na przykład Fred przeniósł się do sypialni, a Joe poszedł do kuchni. Ale LeCun chce udostępnić oprogramowanie tekstom, które znacznie lepiej uchwycą złożoność życia i rzeczy, których może potrzebować wirtualny asystent. Jednym ze źródeł tych danych może być wirtualny concierge o nazwie Moneypenny, który Facebook ma opublikować. Mówi się, że asystent jest zasilany przez zespół operatorów, którzy pomagają ludziom robić takie rzeczy, jak rezerwowanie restauracji. Zespół LeCuna mógłby mieć sieć pamięci czuwającą nad ramieniem Moneypenny, zanim w końcu pozwoli mu się uczyć poprzez interakcję z ludźmi dla siebie.

Kilka firm otworzyło laboratoria głębokiego uczenia się. Zatrudniłem wszystkich pracujących nad tym ludzi, których mogłem, mówi LeCun.

Zbudowanie czegoś, co może pomieścić nawet podstawową, wąsko skoncentrowaną rozmowę, nadal wymaga znacznej pracy. Na przykład sieci neuronowe wykazały tylko bardzo proste rozumowanie, a naukowcy nie odkryli, jak można ich nauczyć robienia planów, mówi LeCun. Jednak wyniki dotychczasowej pracy nad tą technologią dają mu pewność co do tego, dokąd zmierzają. Rewolucja jest w drodze, mówi.

Niektórzy ludzie są mniej pewni. Jak dotąd oprogramowanie do głębokiego uczenia się wykazywało tylko najprostsze możliwości wymagane do tego, co uznalibyśmy za rozmowę, mówi Oren Etzioni , CEO Allen Institute for Artificial Intelligence w Seattle. Twierdzi, że wciąż potrzebne możliwości logiczne i planowania bardzo różnią się od tego, co sieci neuronowe robią najlepiej: przetrawiania sekwencji pikseli lub fal akustycznych, aby zdecydować, którą kategorię obrazu lub słowo reprezentują. Mówi, że problemów z rozumieniem języka naturalnego nie da się zredukować w ten sam sposób.

Gary Marcus , profesor psychologii i neuronauki na Uniwersytecie Nowojorskim, który badał, jak ludzie uczą się języka i niedawno założył firmę zajmującą się sztuczną inteligencją o nazwie Geometric Intelligence, uważa, że ​​LeCun nie docenia, jak trudno byłoby istniejącemu oprogramowaniu wychwycić język i zdrowy rozsądek. Szkolenie oprogramowania z dużą ilością starannie opatrzonych adnotacjami danych jest w porządku, jeśli chodzi o sortowanie obrazów. Ale Marcus wątpi, czy może nabyć trudniejsze umiejętności potrzebne w języku, w którym znaczenia słów i złożonych zdań mogą się zmieniać w zależności od kontekstu. Ludzie spojrzą wstecz na głębokie uczenie i powiedzą, że to naprawdę potężna technika — po raz pierwszy sztuczna inteligencja stała się praktyczna, mówi. Powiedzą też, że te rzeczy wymagały dużej ilości danych, a były domeny, w których ludzie po prostu nigdy nie mieli dość. Marcus uważa, że ​​jedną z tych dziedzin może być język. Sugeruje, że aby oprogramowanie opanowało konwersację, musiałoby uczyć się bardziej jak małe dziecko, które odbiera je bez wyraźnej instrukcji.

Głęboka wiara

W centrali Facebooka w Kalifornii członkowie zespołu LeCun z Zachodniego Wybrzeża siedzą blisko Marka Zuckerberga i Mike'a Schroepfera, CTO firmy. Liderzy Facebooka wiedzą, że grupa LeCun wciąż jest daleko od zbudowania czegoś, z czym można porozmawiać, ale Schroepfer już myśli o tym, jak to wykorzystać. Przyszły Facebook, który opisuje, odzyskuje i koordynuje informacje, jak lokaj, z którym komunikujesz się, pisząc na klawiaturze lub rozmawiając, tak jak możesz to zrobić z człowiekiem.

Możesz zaangażować się w system, który naprawdę rozumie koncepcje i język na znacznie wyższym poziomie, mówi Schroepfer. Wyobraża sobie, że może poprosić o obejrzenie zdjęć dziecka przyjaciela, ale nie na przykład jego żartów. Myślę, że w niedalekiej perspektywie taka wersja jest bardzo możliwa do zrealizowania, mówi. Ponieważ systemy LeCun osiągają lepsze zdolności rozumowania i planowania, spodziewa się, że rozmowa stanie się mniej jednostronna. Facebook może oferować informacje, które według niego chcesz, i zapytać, co o tym myślisz. W końcu jest jak ten superinteligentny pomocnik, który jest podłączony do wszystkich strumieni informacji na świecie, mówi Schroepfer.

Nie jest jasne, ile skorzystalibyśmy z inteligentniejszych wirtualnych asystentów, ale być może nie będziemy musieli długo czekać, aby się dowiedzieć.

Algorytmy potrzebne do zasilania takich interakcji poprawiłyby również systemy używane przez Facebooka do filtrowania postów i reklam, które widzimy. I mogą mieć kluczowe znaczenie dla ambicji Facebooka, by stać się czymś więcej niż tylko miejscem spotkań towarzyskich. Ponieważ Facebook zaczyna udostępniać artykuły i filmy w imieniu firm medialnych i rozrywkowych, na przykład, będzie potrzebować lepszych sposobów zarządzania informacjami. Wirtualni asystenci i inni spinouty z pracy LeCuna mogą również pomóc w bardziej ambitnym odejściu Facebooka od jego pierwotnej działalności, takiej jak grupa Oculus pracująca nad przekształceniem wirtualnej rzeczywistości w technologię masową.

Nic z tego nie nastąpi, jeśli ostatnie imponujące wyniki spotkają się z losem poprzednich wielkich pomysłów w dziedzinie sztucznej inteligencji. Rozkwity podniecenia wokół sieci neuronowych już dwukrotnie zgasły. Ale chociaż narzekają, że inne firmy lub badacze przesadzają, ich praca jest jedną z prac LeCuna ulubione rozrywki , mówi, że istnieje wystarczająco dużo poszlak, aby obstawać przy swoich przewidywaniach, że uczenie głębokie przyniesie imponujące korzyści. Technologia wciąż zapewnia większą dokładność i moc w każdym obszarze sztucznej inteligencji, w którym została zastosowana, mówi. Potrzebne są nowe pomysły, jak zastosować go do przetwarzania języka, ale wciąż niewielka dziedzina szybko się rozwija, ponieważ firmy i uniwersytety poświęcają temu więcej osób. To przyspieszy postęp, mówi LeCun.

Nadal nie jest jasne, czy głębokie uczenie się może zapewnić coś takiego, jak ten, który ma na Facebooku lokaj informacji. A nawet jeśli może, to trudno powiedzieć, ile naprawdę świat by na tym skorzystał. Ale może nie będziemy musieli długo czekać, aby się dowiedzieć. LeCun przypuszcza, że ​​wirtualni pomocnicy z niespotykaną dotąd znajomością oprogramowania będą dostępni już za dwa do pięciu lat. Oczekuje, że każdy, kto wątpi w zdolność głębokiego uczenia się do opanowania języka, jeszcze wcześniej okaże się, że się myli. Jest to samo zjawisko, które obserwowaliśmy tuż przed 2012 rokiem – mówi. Wszystko zaczyna działać, ale osoby wykonujące bardziej klasyczne techniki nie są do tego przekonane. Za rok lub dwa będzie koniec.

ukryć