Głębokie uczenie może ujawnić, dlaczego świat działa tak, jak działa

Obraz przewracającego się domina Getty

W tym tygodniu społeczność badaczy sztucznej inteligencji zebrała się w Nowym Orleanie na Międzynarodowa Konferencja na temat reprezentacji uczenia się (ICLR, wyraźny dla oczu), jedna z głównych dorocznych konferencji. Jest ponad 3000 uczestników i 1500 zgłoszeń, co sprawia, że ​​jest to jedno z najważniejszych forów wymiany nowych pomysłów w tej dziedzinie.

W tym roku rozmowy i przyjęte artykuły są mocno skoncentrowane na sprostaniu czterem głównym wyzwaniom w głębokim uczeniu: uczciwości, bezpieczeństwu, uogólnianiu i przyczynowości. Jeśli śledziłeś wraz z zasięgiem MIT Technology Review, rozpoznasz pierwsze trzy. Rozmawialiśmy o tym, jak algorytmy uczenia maszynowego w ich obecnym stanie są stronnicze , podatne na ataki przeciwnika i niewiarygodnie ograniczone w swojej zdolności do uogólniania wzorców znalezionych w zestawie danych treningowych dla wielu aplikacji. Teraz społeczność naukowa jest zajęta próbami stworzenia technologii na tyle wyrafinowanej, aby złagodzić te słabości.

Niewiele rozmawialiśmy o ostatecznym wyzwaniu: przyczynowości. To jest coś, nad czym naukowcy zastanawiali się od jakiegoś czasu. Uczenie maszynowe jest świetne w znajdowaniu korelacje w danych, ale czy może to kiedykolwiek rozgryźć? związek przyczynowy ? Takie osiągnięcie byłoby ogromnym kamieniem milowym: gdyby algorytmy pomogły nam rzucić światło na przyczyny i skutki różnych zjawisk w złożonych systemach, pogłębiłyby nasze rozumienie świata i odblokowały potężniejsze narzędzia do wpływania na niego.

W poniedziałek, w wypełnionym po brzegi pomieszczeniu, uznany badacz Léon Bottou, obecnie pracujący w jednostce badawczej Facebooka AI i Uniwersytecie Nowojorskim, przedstawił nowe ramy, nad którymi pracuje ze współpracownikami, aby dowiedzieć się, jak możemy się tam dostać. Oto moje podsumowanie jego wystąpienia. Możesz również obejrzeć go w całości poniżej, począwszy od około 12:00.

Pomysł #1

Przykładowe obrazy z zestawu danych MNIST. Wikipedia

Zacznijmy od pierwszego wielkiego pomysłu Bottou i jego zespołu: nowego sposobu myślenia o przyczynowości. Załóżmy, że chcesz zbudować komputerowy system wizyjny, który rozpoznaje odręcznie napisane cyfry. (To jest klasyczny problem wprowadzający który wykorzystuje powszechnie dostępny zestaw danych MNIST przedstawiony powyżej). Wytrenowałbyś sieć neuronową na tonach obrazów odręcznych liczb, z których każdy oznaczony jest liczbą, którą reprezentują, i w rezultacie uzyskasz całkiem przyzwoity system rozpoznawania nowych, którego nigdy nie miał widział.

Załóżmy jednak, że Twój zestaw danych treningowych został nieco zmodyfikowany, a każda z odręcznych liczb ma również skojarzony z nim kolor — czerwony lub zielony. Zatrzymaj się na chwilę w niedowierzaniu i wyobraź sobie, że nie wiesz, czy kolor czy kształt oznaczeń jest lepszym predyktorem cyfry. Obecnie standardową praktyką jest po prostu oznaczanie każdego elementu danych treningowych obydwoma funkcjami i wprowadzanie ich do sieci neuronowej w celu podjęcia decyzji.

Próbki z kolorowego zestawu danych MNIST. Leon Bottou

Oto, gdzie robi się ciekawie. Kolorowy zestaw danych MNIST celowo wprowadza w błąd. W prawdziwym świecie wiemy, że kolor oznaczeń jest zupełnie nieistotny, ale w tym konkretnym zestawie danych kolor jest w rzeczywistości silniejszym predyktorem cyfry niż jej kształtu. Tak więc nasza sieć neuronowa uczy się używać koloru jako głównego predyktora. Jest to w porządku, gdy następnie używamy sieci do rozpoznawania innych odręcznych liczb, które mają te same wzorce kolorystyczne. Ale wydajność całkowicie spada, gdy odwracamy kolory liczb. (Kiedy Bottou i jego współpracownicy przeprowadzili ten eksperyment myślowy z prawdziwymi danymi treningowymi i prawdziwą siecią neuronową, osiągnęli 84,3% dokładność rozpoznawania w pierwszym scenariuszu i 10% dokładność w drugim).

Innymi słowy, sieć neuronowa znalazła to, co Bottou nazywa fałszywą korelacją, co czyni ją całkowicie bezużyteczną poza wąskim kontekstem, w którym została wyszkolona. Teoretycznie, gdybyś mógł pozbyć się wszystkich fałszywych korelacji w modelu uczenia maszynowego, pozostałyby ci tylko te niezmienne — te, które są prawdziwe niezależnie od kontekstu.

Niezmienność pozwoliłaby z kolei zrozumieć przyczynowość, wyjaśnia Bottou. Jeśli znasz niezmienne właściwości systemu i znasz interwencję wykonaną na systemie, powinieneś być w stanie wywnioskować konsekwencje tej interwencji. Na przykład, jeśli wiesz, że kształt odręcznej cyfry zawsze dyktuje jej znaczenie, możesz wywnioskować, że zmiana jej kształtu (przyczyny) zmieniłaby jej znaczenie (skutek). Inny przykład: jeśli wiesz, że wszystkie obiekty podlegają prawu grawitacji, możesz wywnioskować, że gdy puścisz piłkę (przyczyna), spadnie ona na ziemię (efekt).

Oczywiście są to proste przykłady przyczynowo-skutkowe oparte na właściwościach niezmiennych, które już znamy, ale zastanówmy się, jak możemy zastosować tę ideę do znacznie bardziej złożonych systemów, których jeszcze nie rozumiemy. Co by było, gdybyśmy mogli znaleźć niezmienne właściwości naszych systemów ekonomicznych, na przykład, abyśmy mogli zrozumieć skutki wprowadzenia powszechnego dochodu podstawowego? Albo niezmienne właściwości systemu klimatycznego Ziemi, abyśmy mogli ocenić wpływ różnych sztuczek geoinżynieryjnych?

Pomysł nr 2

Jak więc pozbyć się tych fałszywych korelacji? To drugi wielki pomysł zespołu Bottou. W obecnej praktyce uczenia maszynowego domyślną intuicją jest zgromadzenie jak największej liczby różnorodnych i reprezentatywnych danych w jednym zestawie uczącym. Ale Bottou mówi, że takie podejście wyrządza krzywdę. Różne dane, które pochodzą z różnych kontekstów – czy to zebrane w różnym czasie, w różnych lokalizacjach, czy w różnych warunkach eksperymentalnych – powinny być zachowane jako oddzielne zestawy, a nie mieszane i łączone. Kiedy są konsolidowane, tak jak ma to miejsce obecnie, ważne informacje kontekstowe są tracone, co prowadzi do znacznie większego prawdopodobieństwa fałszywych korelacji.

W przypadku wielu zestawów danych kontekstowych uczenie sieci neuronowej jest bardzo różne. Sieć nie może już znaleźć korelacji, które są prawdziwe tylko w jednym, zróżnicowanym zestawie danych treningowych; musi znaleźć korelacje, które są niezmienne we wszystkich różnych zestawach danych. A jeśli te zbiory zostaną mądrze wybrane z pełnego spektrum kontekstów, to ostateczne korelacje powinny również ściśle odpowiadać niezmiennym właściwościom prawdy podstawowej.

Wróćmy więc jeszcze raz do naszego prostego, kolorowego przykładu MNIST. Opierając się na swojej teorii znajdowania niezmiennych właściwości, Bottou i współpracownicy ponownie przeprowadzili swój pierwotny eksperyment. Tym razem wykorzystali dwa kolorowe zestawy danych MNIST, każdy z różnymi wzorami kolorów. Następnie wyszkolili swoją sieć neuronową, aby znaleźć korelacje, które były prawdziwe w obu grupach. Kiedy przetestowali ten ulepszony model na nowych liczbach z tymi samymi i odwróconymi wzorami kolorów, osiągnęli 70% dokładność rozpoznawania w obu przypadkach. Wyniki dowiodły, że sieć neuronowa nauczyła się ignorować kolor i skupiać się wyłącznie na kształtach oznaczeń.

Bottou mówi, że praca jego zespołu nad tymi pomysłami nie została zakończona, a społeczności naukowej zajmie trochę czasu, aby przetestować techniki dotyczące problemów bardziej skomplikowanych niż kolorowe liczby. Ale struktura wskazuje na potencjał głębokiego uczenia się, aby pomóc nam zrozumieć, dlaczego coś się dzieje, a tym samym dać nam większą kontrolę nad naszym losem.

ukryć