Algorytm, który wyewoluował boty Starcraft, szkoli również samochody autonomiczne

Pojazd Waymo Waymo

Samojezdne samochody Waymo mają teraz coś wspólnego z mózgami, które kierują zwykłymi pojazdami: ich inteligencja pochodzi częściowo z mocy ewolucji.

Inżynierowie z Waymo, należącego do Alphabet, połączyli siły z badaczami z DeepMind, innego działu Alphabet zajmującego się sztuczną inteligencją, aby znaleźć wydajniejszy proces szkolenia i dostrajania algorytmów autonomicznej jazdy firmy.

Wykorzystali technikę zwaną treningiem populacyjnym (PBT), wcześniej opracowany przez DeepMind do doskonalenia algorytmów gier wideo. PBT, który czerpie inspirację z ewolucji biologicznej, przyspiesza wybór algorytmów i parametrów uczenia maszynowego do konkretnego zadania, ponieważ kod kandydata jest pobierany z najlepiej przystosowanych próbek (tych, które wykonują dane zadanie najskuteczniej) w populacji algorytmicznej.

Udoskonalenie algorytmów AI w ten sposób może również pomóc Waymo uzyskać przewagę. Algorytmy, które kierują samochodami autonomicznymi, muszą zostać przeszkolone i ponownie skalibrowane, ponieważ pojazdy zbierają więcej danych i są wdrażane w nowych lokalizacjach. Dziesiątki firm ścigają się, aby zademonstrować najlepszą technologię do samodzielnej jazdy na prawdziwych drogach. Waymo odkrywa różne inne sposoby automatyzacji i przyspieszenia rozwoju swoich algorytmów uczenia maszynowego.

Rzeczywiście, wydajniejsze metody ponownego uczenia kodu uczenia maszynowego powinny pozwolić sztucznej inteligencji na elastyczność i przydatność w różnych kontekstach.

Jednym z kluczowych wyzwań dla każdego, kto zajmuje się uczeniem maszynowym w systemie przemysłowym, jest możliwość przebudowania systemu w celu wykorzystania nowego kodu, mówi Matthieu Devin, dyrektor ds. infrastruktury uczenia maszynowego w Waymo. Musimy ciągle przekwalifikowywać sieć i przepisywać nasz kod. A po przekwalifikowaniu może być konieczne dostosowanie parametrów.

Nowoczesne, autonomiczne samochody są sterowane przez niemalże Rube Goldberga kombinację algorytmów i technik. Liczne algorytmy uczenia maszynowego są wykorzystywane do wykrywania linii drogowych, znaków, innych pojazdów i pieszych w danych z czujników. Działają one w porozumieniu z konwencjonalnym lub ręcznie pisanym kodem, aby sterować pojazdem i reagować na różne ewentualności. Każda nowa iteracja systemu autonomicznego musi być rygorystycznie testowana w symulacji.

Dzisiejsze autonomiczne pojazdy w dużej mierze opierają się w szczególności na uczeniu głębokim. Ale skonfigurowanie głębokiej sieci neuronowej z odpowiednimi właściwościami i parametrami (wartościami, które są na stałe zakodowane na początku) to trudna sztuka. Sieci kandydujące i parametry są w większości wybierane ręcznie, co jest czasochłonne, lub dostrajane losowo przez komputer, który wymaga dużej mocy obliczeniowej.

W Waymo szkolimy mnóstwo różnych sieci neuronowych, a naukowcy spędzają dużo czasu, zastanawiając się, jak najlepiej wyszkolić te sieci neuronowe, mówi Yu-hsin (Joyce) Chen, inżynier infrastruktury uczenia maszynowego w Waymo. Potrzebowaliśmy tego i po prostu skorzystaliśmy z okazji.

Chen twierdzi, że jej zespół używa teraz PBT do udoskonalenia opracowywania kodu głębokiego uczenia wykorzystywanego do wykrywania oznaczeń pasów ruchu, pojazdów i pieszych oraz do weryfikacji dokładności oznaczonych danych, które są przekazywane do innych algorytmów uczenia maszynowego. Mówi, że PBT zmniejszyło moc komputera wymaganą do przekwalifikowania sieci neuronowej o około połowę i podwoiło lub potroiło szybkość cyklu rozwojowego.

Google opracowuje szereg technik, które pomagają zautomatyzować proces uczenia modeli uczenia maszynowego, a niektóre z nich już oferuje klientom w ramach projektu znanego jako Automatyczne uczenie maszynowe w chmurze . Zwiększenie wydajności i automatyzacji szkoleń w zakresie sztucznej inteligencji bez wątpienia okaże się kluczowe dla działań na rzecz komercjalizacji technologii i czerpania z niej korzyści.

Oriol Vinyals, główny naukowiec w DeepMind i jeden z wynalazców PBT, mówi, że pomysł wykorzystania PBT w Waymo pojawił się, gdy odwiedzał Devina. DeepMind po raz pierwszy opracował tę technikę w 2017 r. jako sposób na przyspieszenie treningu sieci neuronowych, a następnie wykorzystał ją, aby pomóc komputerowi w graniu w StarCraft II, bojową grę wideo, która jest szczególnie wymagająca dla maszyn (patrz Innovators Under 35, 2016 ). Współpraca DeepMind z Waymo rozpoczęła się przed opublikowaniem badań StarCrafta w styczniu 2019 roku.

Proces podobny do ewolucji zastosowany w PBT ułatwia również zrozumienie, w jaki sposób algorytm głębokiego uczenia został ulepszony i zoptymalizowany, za pomocą czegoś, co przypomina drzewo genealogiczne. Jedną z fajnych rzeczy jest to, że możesz wizualizować ewolucję parametrów, mówi Vinyals. To dobry sposób na sprawdzenie, czy to, co się dzieje, ma dla Ciebie sens.

Zaktualizowano 29 lipca, aby odzwierciedlić fakt, że PBT powstało, zanim DeepMind zaczął pracować nad StarCraftem II.

ukryć