Po opanowaniu gry Space Invaders, szachów i go, sztuczna inteligencja zajmuje się wideo-piłką nożną

Boisko do piłki nożnej Wiedeń Reyes | Unsplash

Google jest światowym liderem w badaniach nad inteligencją maszyn. W szczególności jej spółka zależna DeepMind ma na swoim koncie imponującą listę osiągnięć. Sieci neuronowe DeepMind osiągnęły nadludzką wydajność w wielu grach. Należą do nich gry wideo Atari, takie jak Pong, Breakout i Space Invaders oraz bardziej złożone wyzwania, takie jak gra online dla wielu graczy Starcraft.

DeepMind odniósł również niezwykły sukces z bardziej tradycyjnymi grami. W 2016 roku jego maszyna AlphaGo pokonała jednego z najsilniejszych profesjonalnych graczy Go na świecie, po raz pierwszy maszyna triumfowała w ten sposób. W tym procesie AlphaGo znalazło zupełnie nowe sposoby grania, które zrewolucjonizowały sposób, w jaki ludzie myślą o grze.

Nie zadowalając się siedzeniem na laurach, Google zwraca teraz uwagę na bardziej otwarte gry, w których nieprzewidywalność odgrywa ważniejszą rolę. Kolejnym celem jest piłka nożna wideo.

Karol Kurach i koledzy z zespołu Brain Team z Google Research stworzyli grę wideo o nazwie Google Research Football Environment, aby umożliwić naukowcom testowanie swoich algorytmów w świecie opartym na fizyce, dostosowywalnym, łatwym w użyciu i nieskończenie powtarzalnym. Udostępnili ten świat na licencji open source, aby badacze mogli go używać w dowolnym miejscu do opracowywania lepszych algorytmów gry w piłkę nożną.

Najpierw trochę tła. Jednym z wyzwań dla badaczy AI jest znalezienie zadań, które stwarzają nowe problemy dla algorytmów uczenia maszynowego. Proste gry wideo, takie jak Pong czy Breakout, są czasami zbyt łatwe dla tych algorytmów, które mogą osiągnąć nadludzką wydajność już po kilku godzinach treningu.

Ale niektóre z bardziej złożonych gier wideo, takie jak Starcraft, są zbyt trudne. Starcraft to gra strategiczna czasu rzeczywistego dla wielu graczy, której akcja toczy się w dużym uniwersum sieciowym. Badacze AI zainteresowali się nim, ponieważ pozwala im grać przeciwko innym ludziom i systemom AI opartym na grach w złożonych środowiskach.

Jednak gra jest tak rozległa i skomplikowana, że ​​wymaga ogromnych zasobów obliczeniowych, aby zebrać odpowiednie dane i wytrenować system uczenia maszynowego. A te zasoby nie są dostępne dla większości badaczy.

Innym problemem jest to, że wiele obiecujących środowisk internetowych działa na zastrzeżonym kodzie, którego badacze nie mogą zmienić ani nawet zobaczyć. Uniemożliwia to poznanie, w jaki sposób gra podejmuje ważne decyzje lub eksperymentowanie z różnymi procesami decyzyjnymi.

Wreszcie, wiele gier jest całkowicie deterministycznych: będą rozgrywać się dokładnie w ten sam sposób, biorąc pod uwagę te same dane wejściowe. To sprawia, że ​​​​proste do pokonania algorytmów uczenia się.

Ale tak nie działa w prawdziwym świecie, gdzie umiejętność radzenia sobie z nieoczekiwanymi działaniami jest ważną umiejętnością. Jedynym sposobem, aby maszyny nauczyły się tej umiejętności, jest szkolenie w nieprzewidywalnych warunkach. Ale nieprzewidywalność musi być kontrolowana — za mało i gra jest zbyt łatwa, a za dużo sprawia, że ​​nauka jest zbyt trudna. Stworzenie takiego środowiska jest trudne.

Tu właśnie pojawiają się symulatory piłki nożnej. Mają one pewien poziom przewidywalności oparty na fizyce gry. Ale jest też wiele nieprzewidywalności, która wynika z taktyki przeciwników, niedopasowania między graczami w sytuacjach takich jak walka i tak dalej.

Więc Kurach i koledzy zbudowali własny symulator. Jako bazę wykorzystali publicznie dostępną grę o nazwie Gameplay Football, która umożliwia pełne gry w piłkę nożną wraz z bramkami, faulami, rzutami rożnymi, karami, spalonymi i tak dalej. Football Environment zapewnia opartą na fizyce symulację piłki nożnej 3D, w której agenci muszą kontrolować swoich graczy, uczyć się, jak przechodzić między nimi i jak pokonywać obronę przeciwnika, aby strzelać bramki, mówi zespół Google.

Naukowcy zmodyfikowali to, aby zapewnić miarę sukcesu maszyn, opartą na tym, jak blisko maszyna może manewrować piłką do bramki przeciwnika w kontrolowany sposób. Jest to konieczne, ponieważ standardowa miara sukcesu — cele — odzwierciedla stosunkowo rzadkie zdarzenie i nie zapewnia maszynom możliwości monitorowania ich postępów z chwili na chwilę.

Zespół stworzył również kilka standardowych środowisk o różnej złożoności, w których można szkolić i testować maszyny AI. Zadania, przed którymi stoi maszyna, obejmują strzelanie do pustej bramki, bieganie i strzelanie przeciwko bramkarzowi, nawigowanie w scenariuszu 3 na 1 w celu zdobycia bramki, zachęcając do podania i tak dalej. Ogólny test to standardowa gra ze wszystkimi zwykłymi zasadami, rozgrywana przeciwko przeciwnikowi opartemu na maszynie.

Algorytm uczenia się może grać przeciwko innym maszynom lub przeciwko ludziom. Daje mu to doświadczenie z szeroką gamą strategii. I pozwala uniknąć scenariusza, w którym maszyna po prostu uczy się słabości maszynowego przeciwnika, co może nie mieć zastosowania w grach w ogóle. Stanowi to trudny problem z uczeniem się przez wzmacnianie, ponieważ piłka nożna wymaga naturalnej równowagi między krótkoterminową kontrolą, wyuczonymi koncepcjami, takimi jak podania, i strategią na wysokim poziomie, mówią Kurach i koledzy.

To interesująca praca, która może pomóc w uczeniu maszynowym pracy w bardziej realistycznych środowiskach. Ale zwiększa to również możliwość, że maszyny nauczą się nowych strategii piłkarskich, których ludzie nigdy nie brali pod uwagę, tak jak w przypadku Go.

Są to taktyki, które mogą mieć zastosowanie nawet w turniejach robo-soccer, a nawet w grach między ludźmi.

To, czy te strategie sprawdzają się równie dobrze w prawdziwej piłce nożnej, jak w symulowanej odmianie, będzie interesującym pytaniem do obejrzenia. Będzie to fascynujące zarówno dla badaczy sztucznej inteligencji, jak i fanów piłki nożnej.

Nr ref.: arxiv.org/abs/1907.11180 : Google Research Football: nowe, wzmacniające środowisko uczenia się

ukryć