Kurzweil odpowiada: nie lekceważ osobliwości

Chociaż Paul Allen parafrazuje moją książkę z 2005 roku, Osobliwość jest blisko , w tytule jego eseju (napisanego wspólnie z jego kolegą Markiem Greavesem) wydaje się, że w rzeczywistości nie czytał książki. Jego jedynym cytatem jest esej, który napisałem w 2001 roku (Prawo przyspieszonych powrotów), a jego artykuł nie uwzględnia ani nie odpowiada na argumenty, które faktycznie przedstawiłem w książce.

Źródło: Przegląd technologii

Kiedy moja książka z 1999 roku, Wiek Maszyn Duchowych, został opublikowany, a kilka lat później uzupełniony o esej z 2001 roku, wywołał kilka linii krytyki, takich jak Prawo Moore'a dobiegnie końca, możliwości sprzętu mogą rosnąć wykładniczo, ale oprogramowanie ugrzęzło w błocie, mózg jest zbyt skomplikowany, w mózgu są możliwości, których z natury nie można odtworzyć w oprogramowaniu, i kilka innych. Specjalnie napisałem Osobliwość jest blisko odpowiedzieć na te krytyki.

Nie mogę powiedzieć, że Allen byłby koniecznie przekonany argumentami, które przedstawiam w książce, ale przynajmniej mógłby odpowiedzieć na to, co właściwie napisałem. Zamiast tego oferuje Ponownie argumenty, jak gdyby nigdy nic nie napisano, aby odpowiedzieć na te kwestie. Opisy Allena dotyczące moich własnych pozycji wydają się być zaczerpnięte z mojego dziesięcioletniego eseju. Podczas gdy ja nadal trzymam się tego eseju, Allen nie podsumowuje poprawnie moich stanowisk nawet z tego eseju.

Allen pisze, że prawo przyspieszania zwrotów (LOAR)… nie jest prawem fizycznym. Chciałbym zwrócić uwagę, że większość praw naukowych nie jest prawami fizycznymi, ale wynikami z pojawiających się właściwości dużej liczby zdarzeń na wyższym poziomie. Klasycznym przykładem są prawa termodynamiki (LOT). Jeśli spojrzysz na matematykę leżącą u podstaw LOT, modelują każdą cząstkę jako podążającą za błądzeniem losowym. Tak więc z definicji nie możemy przewidzieć, gdzie w przyszłości znajdzie się jakakolwiek konkretna cząstka. Jednak ogólne właściwości gazu są wysoce przewidywalne z wysokim stopniem precyzji zgodnie z prawa termodynamiki. Tak jest z prawem przyspieszających zwrotów. Każdy projekt technologiczny i współtwórca jest nieprzewidywalny, ale ogólna trajektoria, określona ilościowo za pomocą podstawowych wskaźników ceny do wydajności i pojemności, mimo wszystko podąża niezwykle przewidywalnymi ścieżkami.

Gdyby technologia komputerowa była wykorzystywana tylko przez garstkę badaczy, byłoby to rzeczywiście nieprzewidywalne. Ale jest on realizowany przez wystarczająco dynamiczny system konkurencyjnych projektów, aby podstawowa miara, taka jak instrukcje na sekundę za stałą dolara, podążała bardzo gładką, wykładniczą ścieżką, wracając do amerykańskiego spisu powszechnego z 1890 r. W mojej książce obszernie omawiam podstawy teoretyczne LOAR, ale najsilniejszym argumentem są obszerne dowody empiryczne, które przedstawiam ja i inni.

Allen pisze, że te „prawa” działają, dopóki nie przestaną działać. Tutaj Allen myli paradygmaty z bieżącą trajektorią podstawowego obszaru technologii informacyjnej. Gdybyśmy badali trend tworzenia coraz mniejszych lamp próżniowych, paradygmat poprawy obliczeń w latach 50., to prawdą jest, że ten konkretny trend trwał, dopóki nie ustał. Ale gdy koniec tego konkretnego paradygmatu stał się jasny, presja badawcza na kolejny paradygmat wzrosła. Technologia tranzystorów utrzymała podstawowy trend wykładniczego wzrostu ceny do wydajności, co doprowadziło do piątego paradygmatu (prawo Moore'a) i ciągłej kompresji funkcji w układach scalonych. Regularnie przewidywano, że prawo Moore'a dobiegnie końca. ten mapa drogowa branży półprzewodników zatytułowane projekty siedem-nanometrowe funkcje do początku lat dwudziestych. W tym momencie kluczowymi cechami będzie szerokość 35 atomów węgla i trudno będzie je dalej zmniejszać. Jednak Intel i inni producenci chipów już robią pierwsze kroki w kierunku szóstego paradygmatu, który polega na przetwarzaniu danych w trzech wymiarach w celu dalszej wykładniczej poprawy wydajności cenowej. Intel przewiduje, że trójwymiarowe chipy staną się głównym nurtem do lat nastoletnich. Wprowadzono już trójwymiarowe tranzystory i trójwymiarowe układy pamięci.

Ten szósty paradygmat utrzyma LOAR w odniesieniu do wydajności cenowej komputera do punktu pod koniec tego stulecia, kiedy obliczenia tysiąca dolarów będą biliony razy silniejsze niż ludzki mózg. [jeden] I wygląda na to, że Allen i ja przynajmniej zgadzamy się, jaki poziom obliczeń jest wymagany do funkcjonalnej symulacji ludzkiego mózgu. [dwa]

Następnie Allen podaje standardowy argument, że oprogramowanie nie rozwija się w ten sam wykładniczy sposób, co sprzęt. w Osobliwość jest blisko , zajmuję się tym zagadnieniem obszernie, przytaczając różne metody pomiaru złożoności i możliwości oprogramowania, które wykazują podobny wykładniczy wzrost. W jednym z ostatnich badań (Raport dla Prezydenta i Kongresu, Designing a Digital Future: Federally Funded Research and Development in Networking and Information Technology przez Radę Doradców Prezydenta ds. Nauki i Technologii) stwierdzono, co następuje:

Jeszcze bardziej niezwykłe – i jeszcze mniej powszechnie rozumiane – jest to, że w wielu obszarach wzrost wydajności dzięki ulepszeniom algorytmów znacznie przekroczył nawet dramatyczny wzrost wydajności spowodowany zwiększoną szybkością procesora . Algorytmy, których używamy dzisiaj do rozpoznawania mowy, tłumaczenia języka naturalnego, gry w szachy, planowania logistycznego, znacznie ewoluowały w ciągu ostatniej dekady… Oto tylko jeden przykład, dostarczony przez profesora Martina Grötschela z Konrad-Zuse-Zentrum für Informationstechnik Berlin. Grötschel, ekspert w dziedzinie optymalizacji, zauważa, że ​​rozwiązanie wzorcowego modelu planowania produkcji za pomocą programowania liniowego zajęłoby w 1988 roku 82 lata przy użyciu komputerów i algorytmów programowania liniowego. Piętnaście lat później — w 2003 r. — ten sam model można było rozwiązać w mniej więcej minutę, co oznacza poprawę o około 43 miliony. Z tego około 1000 razy było spowodowane zwiększoną szybkością procesora, podczas gdy około 43 000 było wynikiem ulepszeń algorytmów! Grötschel przytacza również poprawę algorytmiczną o około 30 000 dla programowania mieszanych liczb całkowitych w latach 1991-2008. Projektowanie i analiza algorytmów oraz badanie nieodłącznej złożoności obliczeniowej problemów to podstawowe poddziedziny informatyki.

Przytaczam w książce wiele innych podobnych przykładów. [3]

Jeśli chodzi o sztuczną inteligencję, Allen szybko odrzuca Watson IBM jako wąski, sztywny i kruchy. Odnoszę wrażenie, że Allen odrzuciłby każdą demonstrację, jeśli nie zdał testu Turinga. Zaznaczę, że Watson nie jest taki wąski. Zajmuje się szerokim zakresem ludzkiej wiedzy i jest w stanie poradzić sobie z subtelnymi formami języka, w tym kalamburami, porównaniami i metaforami. Nie jest idealny, ale ludzie też nie, i było wystarczająco dobre, aby uzyskać wyższy wynik niż dwóch najlepszych ludzi Niebezpieczeństwo! gracze razem.

Allen pisze, że Watson został stworzony przez samych naukowców, budując każde ogniwo wąskiej wiedzy w określonych obszarach. Chociaż niektóre obszary wiedzy Watsona zostały zaprogramowane bezpośrednio, według IBM, Watson zdobył większość swojej wiedzy samodzielnie, czytając dokumenty w języku naturalnym, takie jak encyklopedie. To reprezentuje jego kluczową siłę. Nie tylko jest w stanie zrozumieć zawiły język w Niebezpieczeństwo! kwerendy (odpowiedzi w poszukiwaniu pytania), ale swoją wiedzę zdobywał czytając ogromne ilości dokumentów w języku naturalnym. IBM współpracuje teraz z Nuance (firmą, którą pierwotnie założyłem jako Kurzweil Computer Products), aby Watson przeczytał dziesiątki tysięcy artykułów medycznych i stworzył diagnostę medycznego.

W tym miejscu wypada słowo o naturze rozumienia Watsona. Wiele napisano, że Watson działa raczej na podstawie wiedzy statystycznej niż prawdziwego zrozumienia. Wielu czytelników interpretuje to w ten sposób, że Watson po prostu zbiera statystyki dotyczące sekwencji słów. Termin informacja statystyczna w przypadku Watsona odnosi się do współczynników rozłożonych w metodach samoorganizujących się, takich jak modele Markowa. Równie łatwo można by odnieść się do rozproszonych stężeń neuroprzekaźników w korze ludzkiej jako do informacji statystycznych. Rzeczywiście, rozwiązujemy niejasności w taki sam sposób, jak robi to Watson, rozważając prawdopodobieństwo różnych interpretacji frazy.

Allen pisze: Każda struktura [w mózgu] została precyzyjnie ukształtowana przez miliony lat ewolucji, aby wykonać określoną rzecz, cokolwiek by to nie było. Nie przypomina komputera z miliardami identycznych tranzystorów w zwykłych macierzach pamięci, które są sterowane przez procesor składający się z kilku różnych elementów. W mózgu każda pojedyncza struktura i obwód nerwowy zostały indywidualnie udoskonalone przez ewolucję i czynniki środowiskowe.

Stwierdzenie Allena, że ​​każda struktura i obwód neuronowy jest wyjątkowy, jest po prostu niemożliwe. Oznaczałoby to, że projekt mózgu wymagałby setek bilionów bajtów informacji. Jednak konstrukcja mózgu (podobnie jak reszta ciała) jest zawarta w genomie. I chociaż translacja genomu do mózgu nie jest prosta, mózg nie może mieć więcej informacji projektowych niż genom. Należy zauważyć, że informacje epigenetyczne (takie jak peptydy kontrolujące ekspresję genów) nie zwiększają ilości informacji w genomie. Doświadczenie i nauka znacznie zwiększają ilość informacji, ale to samo można powiedzieć o systemach AI. pokazuję w Osobliwość jest blisko że po bezstratnej kompresji (z powodu ogromnej nadmiarowości w genomie) ilość informacji projektowych w genomie wynosi około 50 milionów bajtów, z czego mniej więcej połowa dotyczy mózgu. [4] To nie jest proste, ale jest to poziom złożoności, z którym możemy sobie poradzić i reprezentuje mniej złożoności niż wiele systemów oprogramowania we współczesnym świecie.

W jaki sposób uzyskujemy rzędu 100 bilionów połączeń w mózgu z zaledwie dziesiątek milionów bajtów informacji projektowych? Oczywiście odpowiedzią jest redundancja. W korze mózgowej istnieje miliard mechanizmów rozpoznawania wzorców. Są ze sobą połączone w zawiły sposób, ale nawet w połączeniach występuje ogromna redundancja. Móżdżek ma również miliardy powtarzających się wzorców neuronów. Prawdą jest, że masowo powtarzające się struktury w mózgu uczą się różnych elementów informacji, gdy my uczymy się i zdobywamy doświadczenie, ale to samo dotyczy sztucznie inteligentnych systemów, takich jak Watson.

Dharmendra S. Modha, kierownik ds. obliczeń kognitywnych w IBM Research, pisze : …neuroanatomowie nie znaleźli beznadziejnie splątanej, arbitralnie połączonej sieci, całkowicie idiosynkratycznej z mózgiem każdego osobnika, ale zamiast tego wiele powtarzających się struktur w pojedynczym mózgu i wiele homologii między gatunkami… Zadziwiająca naturalna rekonfigurowalność daje nadzieję że podstawowe algorytmy neurokomputacji są niezależne od określonych modalności czuciowych lub motorycznych i że znaczna część obserwowanych zmian w strukturze korowej w różnych obszarach reprezentuje udoskonalenie obwodu kanonicznego; to jest rzeczywiście ten kanoniczny obwód, który chcemy poddać inżynierii wstecznej.

Allen wyraża to, co opisuję w mojej książce jako pesymizm naukowca. Naukowcy pracujący nad następnym pokoleniem niezmiennie borykają się z kolejnym zestawem wyzwań, więc jeśli ktoś opisuje, jak technologia będzie wyglądać za 10 pokoleń, jego oczy zaszkliją się. Jeden z pionierów układów scalonych opisywał mi ostatnio trudności w przejściu od rozmiarów elementów 10 mikronów (10 000 nanometrów) do elementów o wielkości 5 mikronów (5 000 nanometrów) ponad 30 lat temu. Byli ostrożnie pewni tego celu, ale kiedy ludzie przewidywali, że pewnego dnia będziemy mieli obwody o rozmiarach elementów poniżej jednego mikrona (1000 nanometrów), większość naukowców, którzy usiłowali dotrzeć do pięciu mikronów, uważała, że ​​jest to zbyt dzikie, aby to rozważać. Zastrzeżono kruchość obwodów na tym poziomie precyzji, efekty termiczne i tak dalej. Cóż, dzisiaj Intel zaczyna używać chipów z bramką o długości 22 nanometrów.

Ten sam pesymizm widzieliśmy w przypadku projektu genomu. W połowie 15-letniego projektu zebrano tylko 1 procent genomu, a krytycy proponowali podstawowe ograniczenia dotyczące szybkości sekwencjonowania genomu bez niszczenia delikatnych struktur genetycznych. Jednak wykładniczy wzrost zarówno wydajności, jak i ceny nadal się utrzymywał (oba z grubsza podwajają się co roku), a projekt zakończono siedem lat później. Podobny postęp robi projekt inżynierii wstecznej ludzkiego mózgu. Na przykład dopiero niedawno osiągnęliśmy próg dzięki nieinwazyjnym technikom skanowania, w którym możemy obserwować tworzenie i odpalanie poszczególnych połączeń międzyneuronowych w czasie rzeczywistym.

Złożoność hamulca Allena myli las z drzewami. Jeśli chcesz zrozumieć, modelować, symulować i odtwarzać trzustkę, nie musisz odtwarzać ani symulować wszystkich organelli w każdej komórce wysp trzustkowych. Zamiast tego chciałbyś w pełni zrozumieć jedną komórkę Islet, a następnie wyabstrahować jej podstawową funkcjonalność, a następnie rozszerzyć ją na dużą grupę takich komórek. Algorytm ten jest dobrze zrozumiany w odniesieniu do komórek wysp trzustkowych. Obecnie istnieją sztuczne trzustki, które wykorzystują ten testowany model funkcjonalny. Chociaż z pewnością istnieje znacznie więcej zawiłości i zmienności w mózgu niż w masowo powtarzających się komórkach wysp trzustkowych, niemniej jednak funkcje te są masowo powtarzane.

Allen błędnie scharakteryzował moją propozycję uczenia się o mózgu poprzez skanowanie mózgu w celu zrozumienia jego delikatnej struktury. Nie jest moją propozycją symulowanie całego mózgu oddolnie bez zrozumienia funkcji przetwarzania informacji. Musimy szczegółowo zrozumieć, jak działają poszczególne typy neuronów, a następnie zebrać informacje o tym, jak połączone są moduły funkcjonalne. Metody funkcjonalne wywodzące się z tego typu analizy mogą następnie kierować rozwojem inteligentnych systemów. Zasadniczo szukamy metod inspirowanych biologią, które mogą przyspieszyć pracę nad sztuczną inteligencją, z których większość rozwinęła się bez znaczącego wglądu w to, jak mózg wykonuje podobne funkcje. Z mojej własnej pracy nad rozpoznawaniem mowy wiem, że nasza praca została znacznie przyspieszona, gdy zdobyliśmy wgląd w to, jak mózg przygotowuje i przetwarza informacje słuchowe.

Sposób, w jaki te masowo nadmiarowe struktury w mózgu różnicują się, odbywa się poprzez uczenie się i doświadczenie. Obecny stan wiedzy w zakresie sztucznej inteligencji umożliwia jednak systemom uczenie się również na podstawie własnego doświadczenia. Samojezdne samochody Google (które przejechały ponad 140 000 mil przez miasta i miasteczka Kalifornii) uczą się na własnych doświadczeniach z jazdy, a także na samochodach Google prowadzonych przez ludzkich kierowców. Jak wspomniałem, Watson nauczył się większości swojej wiedzy samodzielnie czytając.

Prawdą jest, że Watson nie jest do końca na poziomie ludzkim pod względem zdolności rozumienia ludzkiego języka (gdyby tak było, bylibyśmy teraz na poziomie testu Turinga), ale był w stanie pokonać najlepszych ludzi. Wynika to z nieodłącznej szybkości i niezawodności pamięci, jaką mają komputery. Więc kiedy komputer osiągnie poziom ludzki, co, jak sądzę, stanie się pod koniec lat dwudziestych, będzie mógł wyjść w sieci i czytać miliardy stron, a także mieć doświadczenia w wirtualnych światach online. Połączenie rozpoznawania wzorców na poziomie człowieka z nieodłączną szybkością i dokładnością komputerów będzie bardzo skuteczne. Ale to nie jest inwazja obcych maszyn wywiadowczych — tworzymy te narzędzia, aby stać się mądrzejszymi. Myślę, że Allen zgodzi się ze mną, że właśnie to jest wyjątkowe w gatunku ludzkim: budujemy te narzędzia, aby rozszerzyć nasz własny zasięg.

Ray Kurzweil jest wynalazcą i autorem. Jego ostatni kawałek za Przegląd technologii było o walka z procesem starzenia .

[jeden] Rozdział 2, Osobliwość jest blisko Ray Kurzweil, Viking, 2005.

[dwa] Zobacz przypis końcowy 2 w The Singularity Is Not Near Paula G. Allena i Marka Greavesa.

[3] Rozdział 9, Osobliwość jest blisko.

[4] Rozdział 4, Osobliwość jest blisko.

ukryć