Nadzwyczajne powiązanie między głębokimi sieciami neuronowymi a naturą wszechświata

W ciągu ostatnich kilku lat techniki głębokiego uczenia się zmieniły świat sztucznej inteligencji. Jeden po drugim, zdolności i techniki, które ludzie kiedyś wyobrażali sobie jako wyjątkowe, zaczęły padać pod naporem coraz potężniejszych maszyn. Głębokie sieci neuronowe są teraz lepsze niż ludzie w takich zadaniach, jak rozpoznawanie twarzy i rozpoznawanie obiektów. Opanowali starożytną grę Go i pokonali najlepszych ludzkich graczy.

Ale jest problem. Nie ma matematycznego powodu, dla którego sieci ułożone w warstwy miałyby tak dobrze radzić sobie z tymi wyzwaniami. Matematycy są zmieszani. Pomimo ogromnego sukcesu głębokich sieci neuronowych, nikt nie jest do końca pewien, w jaki sposób osiągają swój sukces.

Dziś to się zmienia dzięki pracy Henry'ego Lin z Harvard University i Maxa Tegmarka z MIT. Ci goście twierdzą, że powodem, dla którego matematycy byli tak zakłopotani, jest to, że odpowiedź zależy od natury wszechświata. Innymi słowy, odpowiedź leży w reżimie fizyki, a nie matematyki.

Najpierw skonfigurujmy problem na przykładzie klasyfikacji megabitowego obrazu w skali szarości, aby określić, czy przedstawia on kota, czy psa.

Taki obraz składa się z miliona pikseli, z których każdy może przyjąć jedną z 256 wartości skali szarości. Teoretycznie więc może istnieć 2561000000 możliwych obrazów i dla każdego z nich należy obliczyć, czy przedstawia on kota czy psa. A jednak sieci neuronowe, z zaledwie tysiącami lub milionami parametrów, w jakiś sposób z łatwością radzą sobie z tym zadaniem klasyfikacji.

W języku matematyki sieci neuronowe działają na zasadzie aproksymacji złożonych funkcji matematycznych prostszymi funkcjami. Jeśli chodzi o klasyfikowanie obrazów kotów i psów, sieć neuronowa musi zaimplementować funkcję, która przyjmuje jako dane wejściowe milion pikseli w skali szarości i wyświetla rozkład prawdopodobieństwa tego, co może reprezentować.

Problem polega na tym, że istnieje o rzędy wielkości więcej funkcji matematycznych niż możliwych sieci do ich aproksymacji. A jednak głębokie sieci neuronowe w jakiś sposób uzyskują właściwą odpowiedź.

Teraz Lin i Tegmark mówią, że odkryli dlaczego. Odpowiedź brzmi, że wszechświatem rządzi maleńki podzbiór wszystkich możliwych funkcji. Innymi słowy, kiedy prawa fizyki są spisane matematycznie, wszystkie można opisać za pomocą funkcji, które mają niezwykły zestaw prostych właściwości.

Tak więc głębokie sieci neuronowe nie muszą aproksymować żadnej możliwej funkcji matematycznej, a jedynie niewielki ich podzbiór.

Aby spojrzeć na to z innej perspektywy, rozważ kolejność funkcji wielomianowej, która jest wielkością jej najwyższego wykładnika. Więc równanie kwadratowe, takie jak y=x2 ma rząd 2, równanie y=x24 ma rząd 24 i tak dalej.

Oczywiście liczba rzędów jest nieskończona, a jednak w prawach fizyki występuje tylko niewielki podzbiór wielomianów. Z powodów, które wciąż nie są w pełni zrozumiałe, nasz wszechświat można dokładnie opisać za pomocą wielomianowych hamiltonianów niskiego rzędu, jak mówią Lin i Tegmark. Zazwyczaj wielomiany opisujące prawa fizyki mają rzędy od 2 do 4.

Prawa fizyki mają inne ważne właściwości. Na przykład są one zwykle symetryczne, jeśli chodzi o rotację i translację. Obróć kota lub psa o 360 stopni i wygląda tak samo; przetłumacz to o 10 metrów lub 100 metrów lub kilometr i będzie wyglądać tak samo. Upraszcza to również zadanie przybliżenia procesu rozpoznawania kota lub psa.

Te właściwości oznaczają, że sieci neuronowe nie muszą aproksymować nieskończonej liczby możliwych funkcji matematycznych, a jedynie niewielki podzbiór najprostszych.

Sieci neuronowe wykorzystują jeszcze jedną właściwość wszechświata. Taka jest hierarchia jego struktury. Cząstki elementarne tworzą atomy, które z kolei tworzą molekuły, komórki, organizmy, planety, układy słoneczne, galaktyki itp., mówią Lin i Tegmark. A złożone struktury są często tworzone przez sekwencję prostszych kroków.

Dlatego ważna jest również struktura sieci neuronowych: warstwy w tych sieciach mogą aproksymować każdy krok w sekwencji przyczynowej.

Lin i Tegmark podają przykład kosmicznego mikrofalowego promieniowania tła, echa Wielkiego Wybuchu, które przenika wszechświat. W ostatnich latach różne statki kosmiczne mapowały to promieniowanie w coraz wyższej rozdzielczości. I oczywiście fizycy zastanawiali się, dlaczego te mapy przybierają taką formę, jaką przyjmują.

Tegmark i Lin zwracają uwagę, że bez względu na przyczynę, jest to niewątpliwie wynik hierarchii przyczynowej. Zestaw parametrów kosmologicznych (gęstość ciemnej materii itp.) określa widmo mocy fluktuacji gęstości w naszym wszechświecie, co z kolei determinuje wzór kosmicznego mikrofalowego promieniowania tła docierającego do nas z naszego wczesnego Wszechświata, które łączy się z radiem na pierwszym planie Mówią, że hałas z naszej galaktyki tworzy mapy nieba zależne od częstotliwości, które są rejestrowane przez teleskop satelitarny.

Każda z tych warstw przyczynowych zawiera coraz więcej danych. Istnieje tylko kilka parametrów kosmologicznych, ale mapy i szum, który zawierają, składają się z miliardów liczb. Celem fizyki jest analizowanie dużych liczb w sposób, który ujawnia te mniejsze.

A kiedy zjawiska mają taką hierarchiczną strukturę, sieci neuronowe znacznie ułatwiają proces ich analizy.

Wykazaliśmy, że sukces głębokiego i taniego uczenia się zależy nie tylko od matematyki, ale także od fizyki, która faworyzuje pewne klasy o wyjątkowo prostych rozkładach prawdopodobieństwa, że ​​uczenie głębokie jest wyjątkowo dostosowane do modelowania, konkludują Lin i Tegmark.

To interesująca i ważna praca o znaczących implikacjach. Słynne są sztuczne sieci neuronowe oparte na biologicznych. A zatem pomysły Lin i Tegmarka nie tylko wyjaśniają, dlaczego maszyny do głębokiego uczenia się działają tak dobrze, ale także wyjaśniają, dlaczego ludzkie mózgi potrafią zrozumieć wszechświat. Ewolucja w jakiś sposób zadomowiła się w strukturze mózgu, która idealnie nadaje się do rozdzielania złożoności wszechświata.

Ta praca otwiera drogę do znacznego postępu w sztucznej inteligencji. Teraz, gdy w końcu rozumiemy, dlaczego głębokie sieci neuronowe działają tak dobrze, matematycy mogą zająć się badaniem określonych właściwości matematycznych, które pozwalają im działać tak dobrze. Wzmocnienie analitycznego zrozumienia głębokiego uczenia się może sugerować sposoby jego ulepszenia, mówią Lin i Tegmark.

Głębokie uczenie poszło w ostatnich latach olbrzymim krokiem. Dzięki temu lepszemu zrozumieniu tempo postępu z pewnością przyspieszy.

Nr ref.: arxiv.org/abs/1608.08225 : Dlaczego głęboka i tania nauka działa tak dobrze?

ukryć