Debata między ekspertami AI pokazuje walkę o przyszłość technologii

Gary Marcus i Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Szczyt internetowy

Od lat pięćdziesiątych sztuczna inteligencja wielokrotnie przesadzała i nie dostarczała zbyt wiele. Podczas gdy ostatnie lata były świadkami niesamowitych postępów dzięki głębokiemu uczeniu się, dzisiejsza sztuczna inteligencja wciąż jest wąska: jest delikatna w obliczu ataków, nie może uogólniać, aby dostosować się do zmieniającego się otoczenia i jest pełna uprzedzeń. Wszystkie te wyzwania sprawiają, że technologia jest trudna do zaufania i ogranicza jej potencjał przynoszący korzyści społeczeństwu.

26 marca na corocznym wydarzeniu EmTech Digital MIT Technology Review, dwie wybitne postacie w dziedzinie sztucznej inteligencji przeszły na wirtualną scenę, aby debatować, w jaki sposób branża może rozwiązać te problemy.

Gary Marcus, emerytowany profesor NYU oraz założyciel i dyrektor generalny Robust.AI, jest znanym krytykiem głębokiego uczenia się. W jego książce Ponowne uruchamianie AI , opublikowanym w zeszłym roku, argumentował, że wady sztucznej inteligencji są nieodłączną częścią tej techniki. Badacze muszą zatem wyjść poza głębokie uczenie, argumentuje, i połączyć je z klasycznymi lub symbolicznymi systemami sztucznej inteligencji, które kodują wiedzę i są zdolne do rozumowania.

Danny Lange, wiceprezes ds. sztucznej inteligencji i uczenia maszynowego w Unity, znajduje się w obozie głębokiego uczenia się. Swoją karierę zbudował na obietnicy i potencjale tej techniki, pełniąc funkcję szefa uczenia maszynowego w Uber, dyrektora generalnego Amazon Machine Learning i lidera produktu w firmie Microsoft skupiającego się na uczeniu maszynowym na dużą skalę. W Unity pomaga teraz laboratoriom takim jak DeepMind i OpenAI w tworzeniu wirtualnych środowisk szkoleniowych, które uczą ich algorytmów zrozumienia świata.

Podczas wydarzenia każdy z prelegentów wygłosił krótką prezentację, a następnie zasiadł do dyskusji panelowej. Wyrażone przez nich nieporozumienia odzwierciedlają wiele starć w tej dziedzinie, podkreślając, jak silnie technologia została ukształtowana przez ciągłą walkę pomysłów i jak mało jest pewności, dokąd zmierza.

Poniżej ich dyskusja panelowa została skrócona i lekko zredagowana dla jasności.

Gary, wykorzystujesz swoją wiedzę z zakresu neuronauki i psychologii, aby dowiedzieć się, czego obecnie brakuje w sztucznej inteligencji. Co takiego jest w klasycznej sztucznej inteligencji, co sprawia, że ​​jest to właściwy system do połączenia z głębokim uczeniem?

Gary Marcus: Pierwszą rzeczą, którą powiem, jest to, że możemy potrzebować hybryd, które są bardziej skomplikowane niż tylko głębokie uczenie i klasyczna sztuczna inteligencja. Potrzebujemy w najmniej że. Ale może być cała masa rzeczy, o których jeszcze nawet nie śniliśmy. Musimy być otwarci.

Po co dodawać do tego klasyczną sztuczną inteligencję? Cóż, robimy wszelkiego rodzaju rozumowanie w oparciu o naszą wiedzę o świecie. Głębokie uczenie po prostu tego nie reprezentuje. W tych systemach nie ma sposobu, aby przedstawić, czym jest piłka, czym jest butelka i co te rzeczy ze sobą robią. Wyniki wyglądają więc świetnie, ale zazwyczaj nie można ich uogólniać.

Klasyczna sztuczna inteligencja — to jej sterówka. Może na przykład przetworzyć zdanie na jego semantyczną reprezentację lub mieć wiedzę o tym, co dzieje się na świecie, a następnie wyciągać wnioski na ten temat. Ma swoje własne problemy: zwykle nie ma wystarczającego pokrycia, ponieważ zbyt wiele jest pisanych ręcznie i tak dalej. Ale przynajmniej w zasadzie jest to jedyny znany nam sposób tworzenia systemów, które mogą robić takie rzeczy, jak wnioskowanie logiczne i wnioskowanie indukcyjne nad wiedzą abstrakcyjną. To nadal nie oznacza, że ​​jest to absolutnie słuszne, ale jest to zdecydowanie najlepsze, jakie mamy.

A ponadto istnieje wiele psychologicznych dowodów na to, że ludzie potrafią przedstawić pewien poziom symbolicznej reprezentacji. W moim poprzednim życiu jako osoby zajmującej się rozwojem poznawczym przeprowadzałem eksperymenty z siedmiomiesięcznymi niemowlętami i pokazałem, że te niemowlęta potrafią uogólniać wiedzę symboliczną. Więc jeśli siedmiomiesięczne niemowlę może to zrobić, to dlaczego trzymamy ręce za plecami, próbując zbudować sztuczną inteligencję bez mechanizmów, które mają niemowlęta?

Czy widziałeś jakieś projekty, w których z powodzeniem połączyli głębokie uczenie i symboliczną sztuczną inteligencję w obiecujący sposób?

GM: W artykule, który napisałem zatytułowałem Następna dekada w AI , wymieniłem około 20 różnych ostatnich projektów, które próbują połączyć modele hybrydowe, które mają trochę głębokiego uczenia się i trochę wiedzy symbolicznej. Jednym z przykładów, który wszyscy znają, jest wyszukiwarka Google. Kiedy wpisujesz zapytanie wyszukiwania, jest tam jakaś klasyczna sztuczna inteligencja, która próbuje ujednoznacznić słowa. Próbuje dowiedzieć się, kiedy mówisz o Paryżu, czy mówisz o Paris Hilton w Paryżu w Teksasie czy Paryżu we Francji, używając wykresu wiedzy Google. A potem wykorzystuje głębokie uczenie do innych rzeczy — na przykład do wyszukiwania synonimów za pomocą Model BERT . Oczywiście wyszukiwarka Google nie jest sztuczną inteligencją, którą ostatecznie chcemy osiągnąć, ale jest to całkiem solidny dowód na to, że nie jest to niemożliwym marzeniem.

Danny, zgadzasz się, że powinniśmy przyjrzeć się tym hybrydowym modelom?

Danny Lange: Nie, nie zgadzam się. Problem, jaki mam z symboliczną sztuczną inteligencją, to próba naśladowania ludzkiego mózgu w bardzo głębokim sensie. Przypomina mi to trochę, wiesz, w XVIII wieku, gdybyś chciał szybszego transportu, pracowałbyś raczej nad budową mechanicznego konia niż wynajdywaniem silnika spalinowego. Dlatego jestem bardzo sceptyczny, jeśli chodzi o rozwiązanie sztucznej inteligencji, próbując naśladować ludzki mózg.

Głębokie uczenie niekoniecznie jest srebrną kulą, ale jeśli dostarczysz mu wystarczającą ilość danych i masz odpowiednią architekturę sieci neuronowych, jest w stanie nauczyć się abstrakcji, których my jako ludzie nie możemy zinterpretować, ale to sprawia, że ​​system jest bardzo wydajny w rozwiązywaniu szerokiego zakresu zadań.

Wygląda na to, że zasadniczo oboje nie zgadzacie się co do tego, jaki jest cel sztucznej inteligencji.

GM: Myślę, że to ironia. Kiedy debatowałem z Yoshuą Bengio w grudniu, Bengio powiedział, że jedynym zobowiązaniem głębokiego uczenia się jest to, aby było ono oparte na neurologach. Tak więc z głębokiego uczenia się słyszałem obie przeciwstawne skrajności. To trochę dziwne i nie sądzę, że powinniśmy traktować te argumenty poważnie.

Zamiast tego powinniśmy powiedzieć: Czy symbole mogą nam pomóc? Odpowiedź brzmi w przeważającej mierze tak. Prawie całe oprogramowanie na świecie opiera się na symbolach. A potem musisz powiedzieć, empirycznie, czy materiały do ​​głębokiego uczenia się robią to, czego chcemy? Jak dotąd problem polega na tym, że nie ma modelu. Vicarious [startup robotyki przemysłowej opartej na sztucznej inteligencji] miał świetna demonstracja systemu nauki gry na Atari, który DeepMind spopularyzował, gdzie nauczył się grać w Breakout na nadludzkim poziomie. Ale wtedy Vicarious przesunął wiosło o kilka pikseli i całość się rozpadła, bo poziom uczenia się był zbyt płytki. Nie było w nim koncepcji wiosła, piłki, zestawu cegieł. Symboliczny algorytm dla Breakouta byłby w stanie bardzo łatwo zrekompensować te rzeczy.

Powodem, dla którego warto spojrzeć na ludzi, jest to, że są pewne rzeczy, które ludzie robią znacznie lepiej niż systemy głębokiego uczenia się. To nie znaczy, że ostatecznie ludzie będą właściwym modelem. Chcemy systemów, które mają pewne właściwości komputerów i właściwości, które zostały zapożyczone od ludzi. Nie chcemy, aby nasze systemy AI miały złą pamięć tylko dlatego, że ludzie to robią. Ale ponieważ ludzie są jedynym modelem systemu, który może rozwinąć głębokie zrozumienie czegoś — dosłownie jedyny model, jaki mamy — musimy potraktować ten model poważnie.

DL: Tak, więc przykład, że języki programowania na świecie są oparte na symbolach — to prawda, ponieważ zostały zaprojektowane dla ludzi, aby wdrażać swoje pomysły i myśli.

Głębokie uczenie nie jest repliką ludzkiego mózgu. Może można powiedzieć, że jest inspirowany światem neuronowym, ale to oprogramowanie. Tak naprawdę nie zagłębiliśmy się jeszcze w głębokie uczenie. Do tej pory mieliśmy ograniczoną ilość danych treningowych. Mieliśmy ograniczone struktury o ograniczonej mocy obliczeniowej. Najważniejsze jest jednak to, że uczenie głębokie uczy się koncepcji, poznaje cechy. To nie jest sprawa ludzkiej inżynierii. Myślę, że duża różnica między podejściem Gary'ego a moim podejściem polega na tym, czy inżynierowie dają inteligencję systemowi, czy też system sam uczy się inteligencji.

Danny, wspomniałeś, że tak naprawdę nie dostrzegamy w pełni potencjału uczenia głębokiego z powodu ograniczeń danych i obliczeń. Czy nie powinniśmy rozwijać nowych technik, biorąc pod uwagę, że uczenie głębokie jest tak nieefektywne? Musieliśmy drastycznie zwiększyć moc obliczeniową, aby odblokować nowe możliwości uczenia głębokiego.

DL: Jednym z problemów z głębokim uczeniem jest to, że tak naprawdę opierało się ono do tej pory na pewnego rodzaju klasycznym podejściu: generujesz duży zestaw danych treningowych, a następnie go wprowadzasz. Jedną z rzeczy, która może naprawdę poprawić głębokie uczenie, jest posiadanie aktywnego proces uczenia, w którym sieć jest szkolona w celu optymalizacji danych uczących. Nie musisz po prostu wprowadzać oszałamiającej ilości danych, aby usprawnić proces uczenia się. Możesz stale dostosowywać swoje dane treningowe do określonego obszaru.

Gary, wskazujesz słabe punkty uczenia głębokiego, aby stronniczość i do ataki kontradyktoryjności . Danny, wspomniałeś, że syntetyczne dane są rozwiązaniem tego problemu, ponieważ nie ma w nich stronniczości i możesz uruchomić miliony symulacji, które prawdopodobnie eliminują wrogie luki. Jakie są twoje odpowiedzi na to?

GM: Same dane nie są jeszcze rozwiązaniem. Dane syntetyczne nie pomogą w kwestiach takich jak uprzedzenia dotyczące pożyczek lub uprzedzenia podczas rozmów kwalifikacyjnych. Prawdziwym problemem jest to, że te systemy mają tendencję do utrwalania uprzedzeń, które istniały z powodów historycznych. Nie jest oczywiste, że rozwiązaniem są dane syntetyczne, w przeciwieństwie do budowania systemów, które są wystarczająco wyrafinowane, aby zrozumieć uprzedzenia kulturowe, które próbujemy zastąpić.

Ataki kontradyktoryjne to coś innego. Dane mogą pomóc w przypadku niektórych z nich, ale jak dotąd tak naprawdę nie wyeliminowaliśmy wielu różnych rodzajów ataków adwersarza. Pokazałem ci piłkę baseballową z pianką, która jest opisywana jako espresso. Jeśli ktoś pomyśli z wyprzedzeniem, aby zrobić piłki baseballowe z espresso w symulacji i starannie je oznaczyć, w porządku. Zawsze będą przypadki, o których nikt nie pomyślał. System, który jest wyłącznie oparty na danych, nadal będzie podatny na ataki.

DL: Dane ze świata rzeczywistego są bardzo stronnicze, bez względu na to, co robisz. Zbierasz dane w określonym środowisku, powiedzmy dla autonomicznych pojazdów, i masz około 90% dorosłych i 10% dzieci na ulicach. To normalny rozkład. Ale system uczenia maszynowego musi trenować nawet na wielu dorosłych i dzieciach, aby bezpiecznie uniknąć uderzenia któregokolwiek z nich. Tak więc z danymi syntetycznymi jesteś w zasadzie w stanie zrównoważyć i uniknąć błędu, jeśli będziesz ostrożny. To nie znaczy, że nie możesz tworzyć nowych uprzedzeń. Musisz na to uważać. Z pewnością rozwiązujesz problemy z prywatnością, ponieważ w Twoich danych treningowych nie ma prawdziwych ludzi ani prawdziwych dzieci.

Jeśli chodzi o przykłady kontradyktoryjne, problem z wieloma z nich polega na tym, że są one zasadniczo opracowywane pod kątem słabych modeli widzenia komputerowego — modeli, które zostały wytrenowane na 10 lub 20 milionach obrazów, powiedzmy, z ImageNet. To zdecydowanie za mało danych, aby faktycznie uogólnić model. Potrzebujemy dużych ilości zestawów danych z niewiarygodną ilością randomizacji domen, aby uogólnić te modele wizji komputerowej, aby tak naprawdę nie dały się oszukać.

Jaka jest rzecz, która najbardziej Cię ekscytuje, jeśli chodzi o przyszłość sztucznej inteligencji?

GM: W zeszłym roku nastąpił prawdziwy ruch w kierunku modeli hybrydowych. Ludzie odkrywają nowe rzeczy, których wcześniej nie mieli, i to jest ekscytujące.

DL: Myślę, że to naprawdę systemy wielomodelowe – systemy, które składają się z wielu różnych modeli percepcji i zachowania razem, aby rozwiązać naprawdę złożone zadania.

ukryć