OpenAI Elona Muska ujawnia prostszy sposób uczenia się maszyn

W 2013 roku brytyjski startup zajmujący się sztuczną inteligencją o nazwie DeepMind zaskoczył informatyków, pokazując oprogramowanie, które może nauczyć się grać w klasyczne gry na Atari lepiej niż doświadczony człowiek. DeepMind został wkrótce przejęty przez Google, a technika, która pokonała gry Atari, wzmocnienie uczenia, stała się gorącym tematem w dziedzinie sztucznej inteligencji i robotyki. Google wykorzystało uczenie ze wzmacnianiem do stworzenia oprogramowania, które pokonało mistrza gracza Go w zeszłym roku .

Teraz OpenAI, instytut badawczy non-profit, współzałożony i finansowany przez Elona Muska, twierdzi, że odkrył, że łatwiejsza w użyciu alternatywa dla uczenia się przez wzmacnianie może przynieść konkurencyjne wyniki, gdy gra w gry i wykonuje inne zadania. Na konferencji EmTech Digital MIT Technology Review w San Francisco w poniedziałek dyrektor ds. badań OpenAI, Ilya Sutskever, powiedział, że może to umożliwić naukowcom szybsze postępy w uczeniu maszynowym.

Jest konkurencyjny w stosunku do dzisiejszych algorytmów wzmacniania uczenia się w standardowych testach porównawczych, powiedział Sutskever. Zaskakujące jest to, że coś tak prostego faktycznie działa.

Oprogramowanie do uczenia maszynowego od OpenAI odkryło, jak grać w klasyczne gry na Atari.

Sutskever twierdzi, że znalezienie nowych sposobów, aby oprogramowanie nauczyło się takich rzeczy, jak granie w gry komputerowe lub sterowanie robotami, jest ważne, aby oprogramowanie uczące się mogło wykonywać bardziej złożone zadania niż tylko rozpoznawanie obrazów lub transkrypcja naszej mowy. Jeśli mamy systemy komputerowe uczące się podejmowania skomplikowanych działań na świecie, to myślę, że moglibyśmy nazwać je inteligentnymi – powiedział.

Sutskever i współpracownicy przetestowali swoje podejście, zwane strategiami ewolucji , tworząc oprogramowanie, które nauczyło się grać w ponad 50 gier Atari, w tym Pong i Centipede. Ponieważ łatwiej jest skalować nową metodę na wielu procesorach, w ciągu godziny mogą oni wyszkolić sztucznych graczy porównywalnych z tymi, których wyprodukowanie zajęło jeden dzień, przy użyciu systemu uczenia się przez wzmacnianie opublikowanego przez Google DeepMind w zeszłym roku. Wykazał taką samą zdolność uczenia się takich rzeczy, jak potrzeba wynurzenia się na powierzchnię w grze Seaquest (środkowa ramka w animacji).

Dyrektor ds. badań OpenAI, Ilya Sutskever

Strategie ewolucji wykazały podobną przewagę, gdy zostały użyte do wykonania standardowego testu z robotyki, w którym oprogramowanie musi wymyślić, jak sprawić, by humanoid chodził w symulowanym środowisku. Naukowcy twierdzą, że osiągnięcie wyników zajęło 10 minut, które najnowocześniejszy system uczenia się przez wzmacnianie potrzebowałby około 10 godzin.

Technika ta jest ponownym uruchomieniem starego pomysłu na to, jak zdobyć oprogramowanie do uczenia się, aby wypróbować różne działania i zidentyfikować te najskuteczniejsze. Jest luźno zainspirowany sposobem, w jaki dobór naturalny powoduje, że organizmy biologiczne przystosowują się do swojego środowiska.

Algorytm, o którym wszyscy wiedzą od dawna, działa lepiej niż większość ludzi myślała, powiedział Sutskever.

Odmówił sugerowania konkretnych zastosowań sztucznej inteligencji, które mogłyby wzmocnić technikę strategii ewolucyjnych, mówiąc, że potrzebne są dalsze badania nad jej mocnymi stronami i ograniczeniami. Ale Sutskever powiedział, że porównanie tej metody z uczeniem się przez wzmacnianie sugeruje, że lepiej byłoby nauczyć się wykonywać bardziej złożone zadania, które wymagają więcej kroków, aby uzyskać wynik.

Z tego powodu, powiedział Sutskever, wierzy, że strategie ewolucyjne pomogą osiągnąć cel OpenAI polegający na stworzeniu czegoś, co nazywa sztuczną inteligencją ogólną — oprogramowania, które może dostosować się do wielu rodzajów złożonych scenariuszy.

Większość badaczy zajmujących się uczeniem maszynowym nie mówi zbyt wiele o ogólnej inteligencji, zamiast tego dąży do postępu w konkretnych, często wąsko skoncentrowanych problemach. Misja OpenAI zawiera zobowiązanie do tworzenia sztucznej inteligencji ogólnej. Sutskever powiedział, że tempo postępu w uczeniu maszynowym oznacza, że ​​warto teraz pomyśleć o celu.

[To] wydaje się teraz odległe, ale [było] o wiele bardziej odległe pięć lat temu, powiedział. Liczba osób i wysiłek włożony w opracowanie tych algorytmów jest niezwykle wysoki — sprawy posuwają się do przodu w bardzo zdrowym tempie.

ukryć