Startup umożliwiający głębokie uczenie się bez specjalistycznego sprzętu

Magia neuronowa





Odkrycie, które skłoniło Nira Shavita do założenia firmy, nastąpiło w sposób, w jaki robi to większość odkryć: przez przypadek. Profesor MIT pracował nad projektem rekonstrukcji mapy mózgu myszy i potrzebował pomocy z głębokiego uczenia się. Nie wiedząc, jak programować karty graficzne lub procesory graficzne, najczęściej wybierany sprzęt do modeli z głębokim uczeniem, wybrał jednostkę centralną lub procesor, najbardziej ogólny układ komputerowy, jaki można znaleźć w każdym przeciętnym laptopie.

I oto, wspomina Shavit, zdałem sobie sprawę, że procesor może robić to, co robi GPU — jeśli jest odpowiednio zaprogramowany.

Ten wgląd jest teraz podstawą jego startupu, Neural Magic, który wypuścił dzisiaj swój pierwszy pakiet produktów. Chodzi o to, aby każda firma mogła wdrożyć model głębokiego uczenia się bez konieczności posiadania specjalistycznego sprzętu. Nie tylko obniżyłoby to koszty głębokiego uczenia się, ale także zwiększyłoby dostęp do sztucznej inteligencji.



Oznaczałoby to, że możesz używać sieci neuronowych na wielu innych komputerach i wielu innych istniejący maszyn, mówi Neil Thompson, naukowiec z Laboratorium Informatyki i Sztucznej Inteligencji w MIT, który nie jest zaangażowany w Neural Magic. Nie musiałbyś uaktualniać do czegoś wyjątkowego.

Układy GPU stały się najczęściej wybieranym sprzętem do głębokiego uczenia się w dużej mierze przez przypadek. Chipy zostały początkowo zaprojektowane do szybkiego renderowania grafiki w aplikacjach, takich jak gry wideo. W przeciwieństwie do procesorów, które mają od czterech do ośmiu złożonych rdzeni do wykonywania różnorodnych obliczeń, procesory graficzne mają setki prostych rdzeni, które mogą wykonywać tylko określone operacje — ale rdzenie mogą wykonywać swoje operacje w tym samym czasie, a nie jeden po drugim, co skraca czas trwa dokończenie intensywnych obliczeń.

Nie minęło dużo czasu, zanim społeczność naukowców zajmująca się sztuczną inteligencją zdała sobie sprawę, że ta masowa równoległość sprawia, że ​​procesory graficzne są również doskonałe do głębokiego uczenia się. Podobnie jak renderowanie grafiki, głębokie uczenie obejmuje proste obliczenia matematyczne wykonywane setki tysięcy razy. W 2011 roku we współpracy z producentem chipów Nvidia, Google znaleziony że model widzenia komputerowego, który wytrenował na 2000 procesorach, aby odróżnić koty od ludzi, mógł osiągnąć tę samą wydajność, gdy był szkolony na zaledwie 12 procesorach graficznych. Procesory GPU stały się de facto chipem do uczenia modeli i wnioskowania — procesu obliczeniowego, który ma miejsce, gdy wytrenowany model jest używany do zadań, do których został wyszkolony.



Ale procesory graficzne również nie są idealne do głębokiego uczenia się. Po pierwsze, nie mogą funkcjonować jako samodzielny chip. Ponieważ mają ograniczone typy operacji, które mogą wykonywać, muszą być podłączone do procesorów w celu obsługi wszystkiego innego. Procesory graficzne mają również ograniczoną ilość pamięci podręcznej, czyli obszaru przechowywania danych najbliższego procesorom chipa. Oznacza to, że większość danych jest przechowywana poza chipem i należy je odzyskać, gdy nadejdzie czas przetwarzania. Przepływ danych tam iz powrotem staje się wąskim gardłem dla obliczeń, ograniczając prędkość, z jaką procesory graficzne mogą uruchamiać algorytmy uczenia głębokiego.

Magia neuronowa

Biuro Magii Neuralnej.

MAGIA NEURONOWA

W ostatnich latach, dziesiątki firm pojawiły się, aby zaprojektować chipy AI, które omijają te problemy. Problem polega na tym, że im bardziej wyspecjalizowany sprzęt, tym droższy.



Tak więc Neural Magic zamierza przeciwstawić się temu trendowi. Zamiast majstrować przy sprzęcie, firma zmodyfikowała oprogramowanie. Przeprojektowano algorytmy głębokiego uczenia, aby działały wydajniej na procesorze, wykorzystując dużą dostępną pamięć chipów i złożone rdzenie. Chociaż podejście to traci prędkość osiągniętą przez zrównoleglenie GPU, podobno zyskuje mniej więcej tyle samo czasu, eliminując potrzebę przesyłania danych do i z chipa. Algorytmy mogą działać na procesorach przy prędkościach GPU, mówi firma, ale za ułamek kosztów. Wygląda na to, że to, co zrobili, to sposób na wykorzystanie pamięci procesora w sposób, którego ludzie nie mieli wcześniej, mówi Thompson.

Neural Magic uważa, że ​​może istnieć kilka powodów, dla których nikt wcześniej nie stosował takiego podejścia. Po pierwsze, jest to sprzeczne z intuicją. Pomysł, że uczenie głębokie wymaga specjalistycznego sprzętu, jest tak zakorzeniony, że można łatwo przeoczyć inne podejścia. Po drugie, stosowanie AI w przemyśle jest wciąż stosunkowo nowe, a firmy dopiero zaczynają szukać prostszych sposobów wdrażania algorytmów uczenia głębokiego. Jednak nadal nie jest jasne, czy zapotrzebowanie jest wystarczająco głębokie, aby wystartowała magia neuronowa. Firma testuje swój produkt z około 10 firmami — tylko fragmentem szerszej branży sztucznej inteligencji.

Chcemy ulepszyć nie tylko sieci neuronowe, ale także ogólnie przetwarzanie.



Neil Thompson

Neural Magic oferuje obecnie swoją technikę wnioskowania zadań w wizji komputerowej. Klienci muszą nadal trenować swoje modele na specjalistycznym sprzęcie, ale mogą następnie użyć oprogramowania Neural Magic, aby przekonwertować wyszkolony model na format zgodny z procesorem. Jeden z klientów, duży producent sprzętu do mikroskopii, testuje teraz to podejście w celu dodania możliwości sztucznej inteligencji na urządzeniu do swoich mikroskopów, mówi Shavit. Ponieważ mikroskopy są już dostarczane z procesorem, nie będą potrzebować żadnego dodatkowego sprzętu. Natomiast korzystanie z modelu uczenia głębokiego opartego na GPU wymagałoby, aby sprzęt był masywniejszy i bardziej energochłonny.

Inny klient chce użyć Neural Magic do przetwarzania nagrań z kamer bezpieczeństwa. Umożliwiłoby to monitorowanie ruchu wchodzącego i wychodzącego z budynku przy użyciu komputerów już dostępnych na miejscu; w przeciwnym razie może być zmuszona do wysłania materiału do chmury, co może spowodować problemy z prywatnością lub nabyć specjalny sprzęt dla każdego monitorowanego budynku.

Shavit mówi, że wnioskowanie to także dopiero początek. Neural Magic planuje w przyszłości rozszerzyć swoją ofertę, aby pomóc firmom pociąg ich modele AI na procesorach. Wierzymy, że za 10 do 20 lat procesory będą faktyczną tkanką do uruchamiania algorytmów uczenia maszynowego, mówi.

Thompson nie jest tego taki pewien. Ekonomia naprawdę zmieniła się wokół produkcji chipów, a to doprowadzi do znacznie większej specjalizacji, mówi. Ponadto, podczas gdy technika Neural Magic zapewnia większą wydajność istniejącego sprzętu, fundamentalne postępy w sprzęcie nadal będą jedynym sposobem na dalsze zwiększanie wydajności obliczeniowej. Brzmi to jak naprawdę dobry sposób na poprawę wydajności sieci neuronowych, mówi. Ale chcemy ulepszyć nie tylko sieci neuronowe, ale także ogólnie przetwarzanie.

ukryć