211service.com
Następna eksplozja AI zostanie zdefiniowana przez chipy, które dla niej zbudujemy
Jeremy Portje
Projekt sprzętu, a nie algorytmy, pomoże nam osiągnąć kolejny wielki przełom w sztucznej inteligencji. Tak twierdzi Bill Dally, główny naukowiec Nvidii, który we wtorek wystąpił na scenie na konferencji AI EmTech Digital, MIT Technology Review. Powiedział, że nasza obecna rewolucja w głębokim uczeniu została umożliwiona przez sprzęt.
Jako dowód wskazał na historię tej dziedziny: wiele algorytmów, których używamy dzisiaj, istnieje od lat 80. XX wieku, a przełom w wykorzystaniu dużych ilości oznaczonych danych do trenowania sieci neuronowych nastąpił na początku XXI wieku. Jednak dopiero na początku 2010 roku – kiedy na rynku pojawiły się procesory graficzne lub procesory graficzne – rewolucja głębokiego uczenia się naprawdę się rozpoczęła.
Musimy nadal dostarczać bardziej wydajny sprzęt, w przeciwnym razie postęp w sztucznej inteligencji naprawdę ulegnie spowolnieniu, powiedział Dally.
Nvidia bada teraz trzy główne ścieżki: rozwija bardziej wyspecjalizowane chipy; zmniejszenie obliczeń wymaganych podczas głębokiego uczenia się; i eksperymentowanie z analogowymi, a nie cyfrowymi architekturami chipów.
Nvidia odkryła, że wysoce wyspecjalizowane układy zaprojektowane do określonego zadania obliczeniowego mogą przewyższać układy GPU, które dobrze radzą sobie z wieloma różnymi rodzajami obliczeń. Różnica, powiedział Dally, może wynosić nawet 20% wzrost wydajności przy tym samym poziomie wydajności.
Dally odniósł się również do badania przeprowadzonego przez firmę Nvidia w celu przetestowania potencjału przycinania — pomysłu, że można zmniejszyć liczbę obliczeń, które należy wykonać podczas uczenia, bez poświęcania dokładności modelu uczenia głębokiego. Naukowcy z firmy odkryli, że byli w stanie pominąć około 90% tych obliczeń, zachowując tę samą dokładność uczenia się. Oznacza to, że te same zadania uczenia się mogą odbywać się przy użyciu znacznie mniejszych architektur chipowych.
Wreszcie Dally wspomniał, że Nvidia eksperymentuje teraz z obliczeniami analogowymi. Komputery przechowują prawie wszystkie informacje, w tym liczby, w postaci serii 0 s lub jeden s. Ale obliczenia analogowe pozwoliłyby na bezpośrednie kodowanie wszelkiego rodzaju wartości, takich jak 0,3 lub 0,7. Powinno to odblokować znacznie wydajniejsze obliczenia, ponieważ liczby mogą być przedstawiane w bardziej zwięzły sposób, chociaż Dally powiedział, że jego zespół nie jest obecnie pewien, jak analogowe będą pasować do przyszłości projektowania układów.
Naveen Rao, wiceprezes korporacyjny i dyrektor generalny AI Products Group w firmie Intel, również wszedł na scenę i porównał znaczenie ewolucji sprzętu AI do roli, jaką ewolucja odgrywała w biologii. Powiedział, że szczury i ludzie różnią się ewolucją w skali kilkuset milionów lat. Jednak pomimo znacznie ulepszonych możliwości, ludzie mają te same podstawowe jednostki obliczeniowe, co ich odpowiedniki u gryzoni.
Ta sama zasada obowiązuje w przypadku projektów chipów, powiedział Rao. Każdy chip — wyspecjalizowany lub elastyczny, cyfrowy lub analogowy, optyczny lub inny — jest po prostu podłożem do kodowania i manipulowania informacjami. Ale w zależności od tego, jak zaprojektowano to podłoże, może to być różnica między możliwościami szczura i człowieka.
Powiedział, że owady, podobnie jak szczury, są również zbudowane z tych samych podstawowych jednostek, co ludzie. Ale owady mają stałą architekturę, podczas gdy ludzie mają bardziej elastyczne. Twierdził, że żaden z nich nie jest lepszy od drugiego, ale wyraźnie ewoluowały, aby odpowiadać różnym celom. Owady prawdopodobnie przetrwają wojnę nuklearną, podczas gdy ludzie mają znacznie bardziej wyrafinowane zdolności.
Znowu te zasady można zastosować do projektowania chipów. Ponieważ udostępniamy więcej inteligentnych urządzeń online, nie zawsze ma sens wysyłanie ich danych do chmury w celu przetworzenia w modelu głębokiego uczenia się. Zamiast tego sensowne może być uruchomienie małego, wydajnego modelu uczenia głębokiego na samym urządzeniu. Ten pomysł, znany jako sztuczna inteligencja na krawędzi, mógłby skorzystać na wyspecjalizowanych, stałych architekturach chipów, które są bardziej wydajne. Z drugiej strony centra danych, które zasilają sztuczną inteligencję w chmurze, działałyby na w pełni elastycznych i programowalnych architekturach chipowych, aby obsługiwać znacznie szersze spektrum zadań edukacyjnych.
Rao zauważył, że niezależnie od tego, jakie projekty układów Intel i Nvidia zdecydują się realizować, wpływ na ewolucję sztucznej inteligencji będzie znaczący. Na przestrzeni dziejów poszczególne cywilizacje ewoluowały na bardzo różne sposoby dzięki unikalnym materiałom, jakimi dysponowały. Podobnie operacje, które Intel i Nvidia ułatwiają dzięki różnym projektom układów, będą miały duży wpływ na rodzaje zadań edukacyjnych realizowanych przez społeczność AI.
Jesteśmy teraz w tej gwałtownej eksplozji prekambryjskiej [architektur chipowych], powiedział Rao, i nie każde rozwiązanie wygra.