Podcast: Jak gry uczą sztuczną inteligencję samodzielnego uczenia się

Historia gier AI

Pani Tech | Unsplash





Od szachów, przez Jeopardy, po e-sport, sztuczna inteligencja coraz częściej pokonuje ludzi w ich własnych grach. Ale to nigdy nie był ostateczny cel. W pierwszym odcinku trzeciego sezonu In Machines We Trust zagłębiamy się w symbiotyczną relację między grami a sztuczną inteligencją. Spotykamy dużych graczy w kosmosie i wybieramy się na wycieczkę do salonu gier.

W tym odcinku poznajemy:

  • Julian Togelius, profesor nadzwyczajny, Wydział Informatyki i Inżynierii, New York University
  • Will Douglas-Heaven, starszy redaktor ds. sztucznej inteligencji, przegląd technologii MIT
  • David Silver, główny naukowiec w DeepMind, profesor w University College London.
  • David Fahri, główny badacz, otwarta sztuczna inteligencja

Aby stworzyć ten odcinek, rozmawialiśmy również z Natashą Regan, aktuariuszem w RPC Tyche, Chess WIM i współautorką „Game Changer”.

Dźwięki z:

Kredyty:

Ten odcinek został zrelacjonowany przez Jennifer Strong i Willa Douglas Heaven, a wyprodukowany przez Anthony'ego Greena, Emmę Cillekens i Karen Hao. Redagują nas Niall Firth, Michael Reilly i Mat Honan. Naszym inżynierem miksu jest Garret Lang. Projekt dźwiękowy i muzyka Jacoba Górskiego.



Pełny zapis:

[ID TR]

[SOT: Jeopardy ogłasza Watson Challenge]

Trebeck: Dziś ogłaszamy konkurs Jeopardy, jakiego jeszcze nie prezentowaliśmy.



Jennifer: Dziesięć lat temu w telewizyjnym teleturnieju Jeopardy zaprezentowano nowego gracza...

Trebeck: To mecz pokazowy, w którym bierze udział dwóch największych graczy w historii… ich rywal? Cóż, nazywa się Watson.

Spiker dokumentalny: [muzyka] Watson to komputer IBM zaprojektowany do gry w Jeopardy. Watson rozumie język naturalny z całą jego niejednoznacznością i złożonością.



Jennifer: I chyba nic dziwnego… biorąc pod uwagę, że granie w Jeopardy jest rzecz został zaprojektowany, aby zrobić… Watson był dobry. Naprawdę dobry.

[SOT: Montage of Watson Jeopardy odpowiada.]

Trebek: Watsona.



Watsona: Co to jest Stambuł.

Trebek: Masz rację.

Trebek: Watsona.

Watsona: Czym jest parlement.

Trebek: Prawidłowy.

Trebek: Watsona.

Watsona: Co to jest starożytna greka.

Trebek: Watsonie, wracam do ciebie.

Jennifer: Po trzech nocach Watson wygrał… pokonując dwóch najlepszych graczy w historii teleturnieju… Od szachów przez Jeopardy do e-sportu… Sztuczna inteligencja pokonuje ludzi w ich własnych grach… (że tak powiem)… ale to nigdy nie było decydujący gol. Naukowcy próbują budować inteligentne systemy, które są bardziej użyteczne i ogólnego przeznaczenia niż cokolwiek, co posiadamy.

Dawid Srebrny: Skoro ludzki mózg potrafi rozwiązywać różnego rodzaju zadania, czy możemy budować programy, które potrafią robić to samo?

Jennifer: Jestem Jennifer Strong i w tym odcinku zagłębiamy się w symbiotyczny związek między grami a sztuczną inteligencją. Ponieważ odkąd trwają badania nad sztuczną inteligencją, gry były jej częścią. Spotykamy wielkich graczy w kosmosie... i wybieramy się na wycieczkę do salonu gier.

{Dźwięki gry}

Karen Hao: W pewnym sensie gry mają nieco przesadzone możliwości sztucznej inteligencji, ponieważ…

Jennifer: To moja koleżanka Karen Hao…

Karen Hao: Wiele osób uważa teraz, że sztuczna inteligencja jest o wiele bardziej zdolna, niż jest w rzeczywistości, ale gry są w rzeczywistości demonstracją niezwykle wąskiej inteligencji. I jesteśmy teraz w pewnym sensie uwięzieni w tym cyklu, w którym badania nad sztuczną inteligencją idą konkretnie ścieżką coraz bardziej zaawansowanych gier, bez wchodzenia w coraz bardziej zaawansowane, złożone sytuacje i środowiska w świecie rzeczywistym… a tego właśnie potrzebujemy.

{Dźwięki gry}

[POKAŻ ID]

OC:...dotarłeś do celu.

Julian Togelius: Gry są częścią sztucznej inteligencji od samego początku sztucznej inteligencji lub od samego początku samej idei sztucznej inteligencji.

Jennifer: Julian Togelius jest profesorem i informatykiem mieszkającym w Nowym Jorku…

Julian Togelius: Pracuję nad sztuczną inteligencją, aby ulepszać gry, a także nad grami, aby ulepszyć sztuczną inteligencję.

Jennifer: Daje mi lekcję historii na temat związku między grami a sztuczną inteligencją… i jakoś udaje mu się to zrobić, grając jednocześnie w kilka gier wideo, z którymi pracował.

Julian Togelius: Szczególnie pracuję z grami wideo i rodzajem nowoczesnych gier wideo, ponieważ tak naprawdę szachy i Go i tak dalej... Mam na myśli, że już z tym skończyliśmy. To tak, [śmiech], żeby nie zniechęcać ludzi, którzy lubią grać w szachy i grać w Go lub pokera dla umysłowego wyzwania. W porządku. Ale wiesz, w innych grach jest o wiele więcej możliwości, o wiele ciekawszych wyzwań.

Jennifer: Jak dostałeś się na to pole?

Julian Togelius: Tak. Więc kiedy moja mama oddała moje koty, [śmiech] To prawda! Mam na myśli, ona, ona ma alergię, więc co zamierzasz zrobić? Więc dała mi komputer przed Commodore 64 i zacząłem grać w te wszystkie gry i naprawdę zafascynowały mnie te małe, małe światy. A potem dorosłem... no, mniej więcej. [śmiech] Uh, dorosłem, skończyłem liceum. Zacząłem studiować filozofię i psychologię. Interesowało mnie, jak działa umysł? Jaki jest związek świadomości i inteligencji i jak do tego wszystkiego dochodzi?

Jennifer: Te pytania doprowadziły go do wczesnej pracy pioniera informatyki Alana Turinga… Był pierwszym, który udowodnił, że zbudowanie komputera jest nawet matematycznie możliwe.

Julian Togelius: Ten artykuł dotyczy głównie gier. Chodzi o grę w naśladownictwo, która teraz nazywa się testem Turinga, w której próbujesz powiedzieć, czy ktoś, z kim rozmawiasz, zasadniczo – nie nazywano to czatem w latach pięćdziesiątych – czy ktoś, z kim rozmawiasz przez SMS, jest komputerem, czy człowiek. Chodzi też o szachy. Ponieważ szachy bardzo wcześnie stały się głównym przedmiotem badań nad sztuczną inteligencją.

Jennifer: Uważamy, że ludzie, którzy grają w szachy, mają pewien poziom inteligencji… a więc gra stała się sposobem oceny, jak inteligentne są również maszyny.

I… zabawny fakt? Napisano pierwszy program do gry w szachy zanim istniał nawet komputer, który go uruchamiał. Turing zagrał to w 1950 roku… używając algorytmu opracowane na papierze.

(Nie działało to zbyt dobrze.)

Ale ludzie kontynuowali te badania przez dziesięciolecia.

A potem, w 1997, komputer Deep Blue I-B-M pokonał Garry'ego Kasparowa... panującego mistrza świata w szachach.

[SOT] – Deep Blue pokonuje Garry'ego Kasparowa w Game Six przez YouTube

Komentator 2: Czy brakuje nam czegoś na szachownicy teraz, gdy widzi Kasparow? On nie wygląda... w rzeczywistości wygląda na zdegustowanego.

Komentator 1: Och!

Komentator 2: Głęboki błękit! Kasparow po ruchu C4 podał się do dymisji!

[Oklaski]

Julian Togelius: I to było wielkie intelektualne wydarzenie, o którym myśleli ludzie, ok, co teraz? Czy właśnie rozwiązaliśmy sztuczną inteligencję? I okazuje się, że nie, nie zrobiłeś tego, ponieważ ten program do gry w szachy nie mógł nawet grać w warcaby bez znaczącego przeprogramowania. Nie mógł grać w Go. Nie mógł grać wielu rzeczy. A co więcej, nie mógł zawiązać sznurowadeł. Nie mógł ugotować makaronu. Nie mógł napisać wiersza miłosnego. Nie mógł wyjść i kupić gazety. Nie mógł zrobić żadnej z tych rzeczy, które ludzie robią przez cały czas. Naprawdę może dosłownie zrobić jedną rzecz. Może grać w szachy. Był w tym cholernie dobry, ale tak naprawdę potrafił grać tylko w szachy.

Jennifer: Tak więc ludzie rozwiązali to, co uważano za największe wyzwanie w tworzeniu inteligencji… ale kiedy zajrzałeś pod maskę programu… mówi, że to było zasadniczo tylko rodzaj poszukiwania.

Julian Togelius: Co jeśli wykonam ten ruch? A potem, co jeśli mój przeciwnik wykona ten ruch, a co jeśli ja wykonam ten ruch? Więc zbudowaliśmy drzewo możliwości i możliwości kontrowania i obliczyliśmy z tego. W rzeczywistości było to znacznie bardziej skomplikowane, ale to sedno tego, co robił. A ludzie patrzyli na to tak, jakby to nie przypominało tego, jak pracują nasze mózgi. To znaczy, tak naprawdę nie wiemy, jak działają nasze mózgi, ale cokolwiek robią, to nie to. [śmiać się]

Jennifer: Ale nie jest on TYLKO używany do grania w gry przeciwko ludziom... AI pojawia się w grach na różne sposoby. Zwłaszcza po to, by były ciekawsze i bardziej wymagające.

Na przykład…. Sztuczna inteligencja zmienia części gier wideo… tak, że są inne za każdym razem, gdy w nie gramy, i tak było od lat 19-80.

Julian Togelius: I ta zasada ciągłego tworzenia czegoś nowego... i za każdym razem, gdy grasz w tę grę, jest ona nowa... przetrwała w wielu różnych grach. Na tym bazuje na przykład seria gier Diablo lub seria gier strategicznych Civilization. Za każdym razem, gdy w nią grasz, masz zupełnie nowy świat i to jest rdzeń gry. Po prostu nie byłoby tak samo, gdybyś tego nie zrobił.

Jennifer: Innym powodem, dla którego warto to zrobić, jest pamięć masowa… i mówi, że gra o nazwie Elite stała się ważnym kamieniem milowym… kiedy została udostępniona na komputery osobiste, w tym na Commodore 64.

Julian Togelius: To nie mogło zmieścić się w pamięci tego komputera. Tak więc jedna wersja miała 4096 różnych systemów gwiezdnych. Teraz, gdybyś miał tylko 64 000 bajtów pamięci i wyobraź sobie, zastanów się, jak mało to jest, to milionowa część komputera, który możesz dziś kupić. Musieli więc odtwarzać system gwiezdny za każdym razem, gdy tam dotarłeś. Zasadniczo zbuduj go od zera.

Jennifer: I tak jest nadal. Jasne, mamy znacznie więcej miejsca. Ale gry są też dużo, dużo większe i bardziej złożone.

Julian Togelius: Gra No Man's Sky, która wyszła w 2016 roku, ale wciąż ją aktualizują - robi się coraz bardziej imponująca. Zawiera więcej planet, niż mógłbyś kiedykolwiek odwiedzić w życiu, ale jakoś wszystko pasuje do twojego komputera, ponieważ są odtwarzane za każdym razem, gdy je widzisz.

Jennifer: W międzyczasie naukowcy nadal tworzyli sztuczną inteligencję do gier… i Togelius mówi, że jednym z kolejnych wyzwań w tej przestrzeni będzie granie w wiele gier naraz… ponieważ wielozadaniowość jest czymś, co ludzie robią dobrze… ale tak nie jest jeszcze w przypadku te systemy.

Jak więc przejść z tych wysoce ustrukturyzowanych środowisk z dużą przewidywalnością… do czegoś bliższego prawdziwemu życiu, które jest bałaganiarskie, chaotyczne i wcale nie do przewidzenia.

Do niego i innych badaczy…? Gramy w więcej gier.

Julian Togelius: Gdybyśmy mieli system, który mógłby niezawodnie grać, z pewną biegłością, w setki najlepszych gier na liście najlepszych gier komputerowych, takich jak Steam, AppStore czy coś takiego, mielibyśmy coś zbliżonego do ogólnej inteligencji.

Jennifer: Tak więc pod pewnymi względami… wciąż jesteśmy w miejscu, w którym byliśmy pół wieku temu… myśląc, że możemy znaleźć klucz do ogólnej inteligencji dzięki systemom sztucznej inteligencji, które mogą pokonać ludzi w ich własnej grze.

[beat / muzyka]

Ale łączymy też gry i sztuczną inteligencję na wiele innych sposobów… na przykład pomaganie nam w danych treningowych.

Kilka lat temu spotkałem zespół w Princeton, który starał się, aby znaki stopu były bardziej rozpoznawalne dla samojezdnych samochodów… za pomocą gry Grand Theft Auto.

Może to zabrzmieć dziwnie… jest to całkiem praktyczne, biorąc pod uwagę, jak wiele różnych sposobów, w jakie kierowca może natknąć się na znak stopu w prawdziwym świecie… czy to na patyku w ziemi… wisi w powietrzu… czy namalowany na chodnik… i spotykamy je w każdym świetle i pogodzie… czasami częściowo zakryte gałęziami drzew… lub ciemnością nocy.

Naukowcy mogą szukać przykładów wszystkich tych znaków stop… lub gry wideo mogą po prostu generować nieskończone przykłady.

Używamy również gier, aby lepiej zrozumieć, w jaki sposób algorytmy podejmują decyzje.

[Zacznij wprowadzać dźwięki z Arcade. * Rozpoczyna się muzyka i rozgrywka z motywem Frogger, przełączaj ruchy*]

Jennifer: Jesteśmy w klasycznym salonie gier w Bostonie… ponieważ ma kilka starszych gier wideo, które służą do trenowania systemów sztucznej inteligencji.

Will Douglas-Heaven: Cześć, jestem Will Douglas-Heaven. Jestem starszym redaktorem działu AI w Technology Review… I nie mogę grać we Frogger.

Will Douglas-Heaven: Frogger pojawił się całkiem niedawno w różnych badaniach nad sztuczną inteligencją, w których próbowali sprawić, by sztuczna inteligencja wyjaśniła się i wyjaśniła, jak to robi. Um, i oni nauczyli... wytrenowali sztuczną inteligencję do grania w tę grę i znasz Froggera... Możesz usłyszeć od hałasu, ciągle mi się nie udaje.

Więc Frogger to ta gra, w której jesteś małą żabką na dole i musisz przejść przez ulicę, na której samochody poruszają się po ekranie w lewo i prawo, i musisz zrobić unik między nimi. A potem docierasz do rzeki i wskakujesz na grzbiet żółwi i kłody, aby dostać się na drugą stronę bez wpadania w nią, tak jak ja tam. Um, w każdym razie, to jest gra, która ma wiele konkretnych działań, które podejmujesz na każdym kroku. Więc kiedy wyszkolili sztuczną inteligencję, aby to robiła, za każdym razem, gdy podejmowała działanie, wyjaśniali to w, no wiesz, ludzkim zrozumiałym języku, dlaczego to robi.

[*Dźwięki gry są kontynuowane*]

Jennifer: Zasadniczo sztuczna inteligencja gra w tę grę… i z biegiem czasu odkrywa, jak odnieść sukces. Losowe ruchy ewoluują w złożone strategie… nawet o niektórych, o których nie wiedzieliśmy.

[Kontynuuj dźwięki gry pod powyższym VO, a także do tego fragmentu audio]

Will Douglas-Heaven: Rzucili sztuczną inteligencję w te stare gry i po prostu pokazali im ekrany, na których nie mieli pojęcia, jak grać. To były tylko piksele na ekranie, coś się wydarzyło. Próbowali różnych rzeczy i czasami wysadzali. Czasami strzelali do obcych statków. I używając tylko pewnego rodzaju nagród, wiesz, kiedy coś zrobili, prawda, wynik wzrósł, powoli wymyślili, jak grać w tę grę. I przeszli od zrozumienia, niczego, do, w wielu przypadkach, pobicia wysokich wyników najlepszych ludzkich graczy. A nawet kilka naprawdę fajnych przykładów, w których faktycznie znaleźli sposoby na pokonanie gry, której ludzie nie odkryli.

Jennifer: Jednym z przykładów jest gra o nazwie Q*Bert, która stawia graczy na piramidzie kwadratów.

Will Douglas-Heaven: Chodzi mi o to, że podstawowa idea jest taka, że ​​masz tego małego faceta, który zeskakuje z piramidy z górnego podestu na kwadraty. A kiedy zmienisz wszystkie kwadraty na ten sam kolor, możesz przejść do następnego poziomu. Ale sztuczna inteligencja, myślę, że na pierwszym poziomie, zmieniła wszystkie kolory kwadratów, a następnie skakała w górę iw dół, zamiast przechodzić do następnego poziomu. I znalazł błąd w grze, który pozwolił mu uzyskać nieskończony wynik w naprawdę krótkim czasie. I nawet projektanci gry byli tak, jakbym nigdy wcześniej nie widział tego błędu.

Jennifer: Po przerwie… Spotkamy pionierów ważnych przełomów w tej dziedzinie. Ale najpierw chcę opowiedzieć o wydarzeniu o nazwie CyberSecure w listopadzie. To konferencja poświęcona cyberbezpieczeństwu Tech Review i będę tam z moimi kolegami. Możesz dowiedzieć się więcej na Cyber ​​Secure M-I-T dot com.

Zaraz wrócimy… po tym.

[MIDROLKA]

Dawid Srebrny: Nazywam się David Silver. Pracuję nad sztuczną inteligencją i stosuję ją w grach. Pracuję dla firmy o nazwie DeepMind, a naszym celem jest próba wykorzystania, hm, sztucznej inteligencji do zbudowania systemu, który ma część inteligencji tkwiącej w ludzkim mózgu.

Jennifer: DeepMind jest w centrum tej pracy z grami. To laboratorium badawcze, które jest częścią alfabetu Google.

Dawid Srebrny: Skoro ludzki mózg potrafi rozwiązywać różnego rodzaju zadania, czy możemy budować programy, które potrafią robić to samo?

Jennifer: Jest głównym badaczem niektórych z najbardziej znanych systemów sztucznej inteligencji, które opanowały do ​​perfekcji grę w gry… zaczynając od gier planszowych (w tym starożytnej chińskiej gry strategicznej Go).

Dawid Srebrny: Opracowaliśmy system o nazwie AlphaGo, który był pierwszym programem umożliwiającym grę w Go na poziomie najlepszych profesjonalnych graczy. I faktycznie był w stanie pokonać mistrza świata Lee Sedola.

Dawid Srebrny: I jest ogromna przestrzeń gier, z których wiele ma te piękne cechy, które pozwalają nam naprawdę zanurzyć się i zrozumieć, wiesz, jeden kawałek świata w izolacji, bez konieczności radzenia sobie z całą ogromną złożonością prawdziwego świata wszystko na raz.

Jennifer: AlphaGo nauczyło się grać w gry planszowe na podstawie tego, jak grają ludzie.

Kolejny system Silvera, AlphaZero, nauczył się grać w gry planszowe i wideo w inny sposób… ucząc się zasad gry, a następnie grając w siebie w kółko.

Dawid Srebrny: Po AlphaGo spróbowaliśmy zrobić kolejny krok i uczynić coś jeszcze bardziej ogólnego, czyli móc grać nie tylko w jedną grę, ale w wiele gier wykorzystujących tę samą technologię. I to jest duży krok naprzód, ponieważ naprawdę próbuje zrobić jedną z rzeczy, które my, jako ludzie, jesteśmy w stanie zrobić, czyli rozwiązać wiele problemów, używając tego samego rodzaju maszyn w środku.

Jennifer: To jest kamień milowy w uczynieniu AI bardziej ogólnym celem… Ale z ważnym zastrzeżeniem. Algorytm nie może nauczyć się grać w te gry naraz. To tak, jakby budowała sobie oddzielne mózgi dla każdej gry. Musi więc wymienić swój mózg szachowy przed rozpoczęciem gry w Go.

Można śmiało powiedzieć, że naukowcy wciąż próbują wymyślić, jak sprawić, by gry były testem na prawdziwe życie. Ponieważ gry mają reguły, które można określić… i nikt tak naprawdę nie zna reguł, według których działa świat.

Dawid Srebrny: Świat jest naprawdę bałaganem. Wiesz, ma niesamowicie bogatą dynamikę, wszystkie szczegóły w sposobie poruszania się obiektów. Sposób, w jaki rzeczy, które widzimy, odnoszą się do rzeczy, których dotykamy. W prawdziwym świecie jest tylko to niesamowite bogactwo i złożoność. I nie możemy mieć nadziei, że zajmiemy się tym w sposób, w jaki ludzie w przeszłości podchodzili do gier. Potrzebujemy więc czegoś, co może zrozumieć świat dla siebie w taki sposób, aby rozumiało wzorce w sposób, który jest przydatny do podejmowania decyzji, które są rzeczywiście znaczące w osiąganiu jego celów.

Jennifer: Jego najnowszy projekt nazywa się MuZero. Znakomicie sprawdza się w tak wielu grach, jak AlphaZero... (jak również w całej gamie gier wideo).

...ale ten system wymyśla, jak grać bez żadnych zasad.

Dawid Srebrny: Więc to było naprawdę po prostu wypuszczone. Potrafił grać przeciwko sobie. I wszystko, co otrzymał pod koniec gry, to sygnał do powiedzenia: Hej, wygrałeś, lub Hej, przegrałeś. I na podstawie tego sygnału był w stanie zbudować dla siebie zrozumienie reguł gry na tyle, że mógł właściwie wyobrazić sobie, co stanie się w przyszłości. Mogę szukać i zacząć patrzeć w przyszłość i zacząć myśleć w przyszłość i mówić: aha, teraz rozumiem, jak działa ten świat. Zaczynam wyobrażać sobie, co by się stało, gdybym wykonał ten ruch lub wykonał tę akcję. Jest to więc naprawdę kluczowy krok, którego potrzebujemy i coś, co uważamy za bardzo ważne dla przyszłości sztucznej inteligencji.

Jennifer: Mówi, że nie różni się od niemowlęcia, które zmaga się z otaczającym go światem… z biegiem czasu buduje umiejętności rozwiązywania problemów i kreatywność.

Dawid Srebrny: Myślę, że już widzimy przykłady, w których w ograniczonych domenach widzimy algorytmy, które są pod każdym względem kreatywne. Chodzi mi o to, czym jest w końcu kreatywność, poza, wiecie, umiejętnością odkrywania jakiegoś nowego pomysłu na siebie. I myślę, że to jest esencja kreatywności. Istotą kreatywności jest to, co robią nasze algorytmy, czyli odkrywanie krok po kroku czegoś nowego i uczenie się poprzez swoje doświadczenie, że ten nowy pomysł, który wymyślili, jest w rzeczywistości czymś potężnym i pomagającym osiągnąć swój cel. cele. Myślę więc, że w przyszłości zobaczymy coraz więcej kreatywności tej formy. Zobaczymy, wiesz, maszyny, które są w stanie odkryć dla siebie pomysły, które pomogą im osiągnąć cele. Nie dlatego, że ktoś im powiedział, że to jest rzecz, której potrzebujesz, aby osiągnąć ten cel, ale dlatego, że sam to wymyślił.

Jennifer: I... ta kreatywność doprowadziła AlphaZero do odkrycia nowych rzeczy o tym, jak grać w szachy. Ale już…. ludzcy gracze faktycznie adoptują to w swoich własnych grach ... nazywając to ... 'graniem ruchu alfa zerowego'.

[SOT: jak grać jak AlphaZero]

Gospodarz: Witamy w kolejnej edycji Jak atakować lLike AlphaZero! Mam nadzieję, że jesteś gotowy na dzisiejszą lekcję….

Jennifer: Dzieje się tak również w przypadku e-sportów… czyli konkursów gier wideo, które często rozgrywane są przed publicznością na żywo… podobnie jak w przypadku wydarzeń sportowych… Z niemal pół miliardem widzów na całym świecie oglądających swoje ulubione gry przez jednych z najlepszych graczy na świecie.

Również w tym przypadku sztuczna inteligencja jest wykorzystywana na wiele sposobów… na przykład narzędzia coachingowe, które pomagają ludziom doskonalić się w grze… i (po raz kolejny) badacze mają również na celu wykorzystanie e-sportu, aby ich systemy sztucznej inteligencji były bardziej inteligentne…

Dawid Farhi: Wyobrażamy sobie, że w pewnym momencie pojawią się ogólne systemy sztucznej inteligencji, które naprawdę szybko rozwiążą problemy, mogą uczyć się być może na poziomie ludzi.

Jennifer: David Farhi jest głównym badaczem w Open AI... Laboratorium badawcze założone przez Elona Muska i grupę innych luminarzy Doliny Krzemowej.

Stworzyła pierwszy system do pokonania mistrzów świata w grze e-sportowej.

Ta gra nazywa się Defense of the Ancients 2, którą wszyscy nazywają Dota 2… i jest nowy film dokumentalny o tej wygranej… o nazwie Artificial Gamer.

[Clip ze zwiastuna sztucznego gracza]

[Dramatyczna muzyka i dźwięki z rozgrywki Dota 2]

Mówca 1: Kiedy patrzysz na grę w Dota, w każdym momencie jest ponad 10 000 zmiennych, które twój system musi przyjąć.

Mówca 2: Sztuczna inteligencja uczy się w zupełnie inny sposób niż ludzie.

Mówca 3: Gra z kopiami samego siebie. Wiele, wiele razy w chmurze..

Jennifer: Fahri nadzorował projekt Dota 2, zwany Open AI Five… i zademonstrował, jak to działa na konferencji AI Tech Review, EmTech Digital…

[Dźwięki gry Dota 2 przez Youtube. [00:03 - 00:15] Zanikaj, a następnie śpij pod następującym wyborem Farhi. *Walka na miecze, kroki i dramatyczna muzyka bitewna.*]

Dawid Farhi: W prawym górnym rogu tego ekranu. Widzimy bardzo duży, pomniejszony widok na cały świat Dota, w lewym dolnym rogu znajduje się baza jednego zespołu. W prawym górnym rogu znajduje się baza innej drużyny. Każda drużyna próbuje poruszać swoimi postaciami, rzucać zaklęcia swoimi postaciami, atakować wrogów i tak dalej, aby ostatecznie najechać i zniszczyć bazę drugiej drużyny.

Dawid Farhi: Te bardziej skomplikowane systemy, takie jak robotyka i gry wideo, mają inny charakter, ponieważ obserwujesz stan gry, a następnie wybierasz działanie, które chcesz podjąć. A potem stan gry zmienia się w pewien sposób, w zależności od podjętej akcji. A potem masz nową obserwację i możesz wybrać nową akcję i ta pętla powtarza się w kółko. Musisz więc podejmować decyzje, które mają długoterminowe konsekwencje. Więc sposób, w jaki to robimy, jest stosunkowo prosty. Przynajmniej koncepcyjnie. Mamy agentów, którzy zaczynają grać całkowicie losowo. I musimy po prostu grać przeciwko sobie, klon siebie w kółko.

Jennifer: A jeśli myślisz, że przy tak skomplikowanej grze może to zająć naprawdę dużo czasu? Nie mylisz się… ale zdolność Open AI do uruchamiania go na 200 tysiącach maszyn jednocześnie… pomaga.

Zasadniczo… jest w stanie zdobyć około 250 lat doświadczenia dziennie.

A jeśli system robi coś, co działa… jest aktualizowany, aby robić to więcej… a jeśli dzieje się coś złego, co nie działa, robi to mniej.

Dawid Farhi: Zaczęliśmy od limitowanej wersji gry. W końcu udało nam się pokonać nasz zespół programistów, co było bardzo zabawne. A potem dodaliśmy więcej elementów gry. Wróciliśmy i trenowaliśmy na dłużej. I udało nam się pokonać kilku amatorów, a potem półprofesjonalnych ludzi. W końcu zdecydowaliśmy się udać na duży turniej, który ma ta gra..

[Dźwięki z The International 3 (turniej Dota) przez YouTube. *Wiwatujący tłum, podekscytowani komentatorzy sportowi, rozgrywka w Dota.*]

Komentator sportowy: To może być ich ostatni bastion. [niesłyszalny]

Komentator sportowy: Będzie próbował skupić wszystkich, ale jest tak wiele rzeczy.

Komentator sportowy: Nie ma więcej dostępnych klipów. Do około połowy HP.

Komentator sportowy: Ćwierć HP. Lew otaczający ze wszystkich stron! EKB! Komentator sportowy: Wygrali rundę! Zrobią to!

Komentator sportowy: Królowie północy! Sojusz wygrywa! Wygrywają TI 3.

Komentator sportowy: Sojusz właśnie wygrał 1,4 miliona dolarów!

Komentator sportowy: To Twoi mistrzowie International 3!

Dawid Farhi: Tak więc ta gra ma miliony użytkowników, którzy rywalizują w tych turniejach o duże nagrody, co gwarantuje, że wiemy, że są ludzie, którzy grają na bardzo, bardzo wysokim poziomie umiejętności. W sierpniu 2018 zabraliśmy naszego agenta na ten turniej.

Jennifer: Ich sztuczna inteligencja grała przeciwko dwóm profesjonalnym drużynom, które zostały już wyeliminowane z turnieju… i niewiele przegrały. Ale w następnym roku, z większą ilością treningów, sztuczna inteligencja była w stanie pokonać byłych mistrzów świata 2-0.

Dawid Farhi: Tak więc OpenAI Five jest szkolony bez udziału ludzi w procesie szkolenia, więc po prostu gra przeciwko sobie na tych serwerach w chmurze w kółko i w kółko. A potem, kiedy chcemy zagrać przeciwko człowiekowi, wyciągamy migawkę z chmury i gramy przeciwko człowiekowi, ale nigdy nie przesyłamy tych danych z powrotem do procesu szkoleniowego.

[Muzyka]

Jennifer: Ale wciąż pozostaje pytanie, czy gry mogą pomóc nam wytrenować sztuczną inteligencję, aby była bardziej użyteczna.

W tej chwili mamy systemy, które są wyjątkowo dobre w jednej rzeczy. Ale nie mamy jeszcze modeli, które potrafią robić wiele rzeczy na raz.

Po raz kolejny mój kolega Will Douglas Heaven.

Will Douglas-Heaven: Sztuczka będzie polegać na tym, że myślę, że wycofanie się z budowania sztucznej inteligencji, doskonałe w określonych strategiach lub technikach, lub posiadanie genialnego obejścia tej konkretnej zasady lub ruchu, wiesz, tego rodzaju rzeczy, które widzieliśmy w tych AI, które mogą nauczyć się grać w gry.

Jennifer: Aby naprawdę zrozumieć następny etap tych badań... Pomocne może być zastanowienie się nad sposobem, w jaki dzieci bawią się na placu zabaw.

Will Douglas-Heaven: Nie grają w grę, która ma jakieś realnie ustalone zasady. Chodzi mi o to, że mogą je wymyślać na bieżąco, ale wiesz, po prostu odkrywają, próbują różnych rzeczy w bardzo naturalny i otwarty sposób. I nie ma określonego celu, do którego dążą. I myślę, że to jest ten rodzaj techniki, która wciąż jest rodzajem zabawy, którą zobaczymy, no wiesz, naprawdę popychamy sprawy do przodu, kiedy mówimy o ogólnej inteligencji. Deepmind na przykład kilka miesięcy temu wypuścił wirtualny plac zabaw. To trochę jak świat gier wideo o nazwie X Land. I jest zaludniony przez bandę małych robotów. I fajną rzeczą jest to, że sam X Land jest kontrolowany przez sztuczną inteligencję lub coś w rodzaju mistrza gier, który zmienia otoczenie, przestawia przeszkody, bloki i piłki, którymi bawią się małe roboty, a także wymyśla różne zasady w locie. Tak więc proste gry, takie jak tag lub chowanego, a boty muszą po prostu wypracować, wiesz, jak w nie grać. Wiesz, jakie przedmioty w tym wirtualnym świecie pomogą im to zrobić. I uczą się ogólnych umiejętności, takich jak eksploracja, po prostu próbując różnych rzeczy. Myślę, że ten rodzaj otwartej eksploracji będzie kluczem dla następnej generacji sztucznej inteligencji. I to jest trochę ekscytujące, że [00:09:00] następna fala sztucznej inteligencji, sztucznej inteligencji, która będzie dobra w wielu rzeczach, [00:09:03] // nadal możemy się tam dostać poprzez gry. Więc gry nigdzie się nie wybierają. Gry towarzyszyły sztucznej inteligencji od samego początku. I wiesz, fajnie jest widzieć, że zabawa jest wciąż prawdopodobnie najlepszym sposobem na naukę.

[KREDYTY]

Jennifer: Ten odcinek został zrelacjonowany przeze mnie i Willa Douglasa-Heaven… i wyprodukowany przez Anthony'ego Greena, Emmę Cillekens i Karen Hao. Redagują nas Niall Firth, Michael Reilly i Mat Honan. Naszym inżynierem miksu jest Garret Lang… z sound designem i muzyką Jacoba Gorskiego.

Dzięki za wysłuchanie, jestem Jennifer Strong.
[ID TR]

ukryć