Ręka robota nauczyła się układać kostkę Rubika po stworzeniu własnego reżimu treningowego

OPENAI OpenAI

Ponad rok temu OpenAI, laboratorium badawcze sztucznej inteligencji z siedzibą w San Francisco, ogłosiło, że wyszkoliło zrobotyzowaną rękę do manipulowania sześcianem z niezwykłą zręcznością.

To może nie brzmieć wstrząsająco. Ale w świecie AI było to imponujące z dwóch powodów. Po pierwsze, ręka nauczyła się, jak bawić się sześcianem za pomocą algorytmu uczenia się przez wzmacnianie, techniki wzorowanej na sposobie uczenia się zwierząt. Po drugie, całe szkolenie odbyło się w symulacji, ale udało się ją z powodzeniem przełożyć na rzeczywisty świat. W obu przypadkach był to ważny krok w kierunku bardziej zwinnych robotów do zastosowań przemysłowych i konsumenckich.

Byłem trochę zdumiony, mówi Leslie Kaelbling, robotyk i profesor w MIT, z 21018 wyników. Nie wyobrażałem sobie, że mogliby to zrobić.

W nowy papier dzisiaj OpenAI opublikowało najnowsze wyniki swojej robotycznej ręki Dactyl. Tym razem Dactyl nauczył się rozwiązywać kostkę Rubika jedną ręką – po raz kolejny poprzez uczenie się przez wzmacnianie w symulacji. Jest to godne uwagi nie tyle dlatego, że robot złamał starą układankę, co dlatego, że osiągnięcie nabrało nowego poziomu zręczności.

To naprawdę trudny problem, mówi Dmitry Berenson, robotnik z University of Michigan, który specjalizuje się w manipulacji maszynami. Rodzaj manipulacji wymagany do obracania części sześcianu Rubika jest w rzeczywistości znacznie trudniejszy niż obracanie sześcianu.

Podczas testów Dactyl z powodzeniem rozwiązał kostkę Rubika nawet w nieoczekiwanych okolicznościach.

Ze świata wirtualnego do fizycznego

Tradycyjnie roboty były w stanie manipulować przedmiotami tylko w bardzo prosty sposób. Podczas gdy algorytmy uczenia się przez wzmacnianie odniosły wielki sukces w realizacji złożonych zadań w oprogramowaniu, takich jak pokonanie najlepszego gracza w starożytnej grze Go , wykorzystanie ich do trenowania fizycznej maszyny to zupełnie inna historia. Dzieje się tak, ponieważ algorytmy muszą się dopracowywać metodą prób i błędów — w wielu przypadkach miliony rund. Wykonanie tego przez fizyczny robot w prawdziwym świecie zajęłoby prawdopodobnie o wiele za dużo czasu i zajęłoby dużo czasu. Mogłoby być nawet niebezpieczne, gdyby robot szaleńczo miotał się, aby zbierać dane.

Aby tego uniknąć, robotycy stosują symulację: budują wirtualny model swojego robota i szkolą go wirtualnie, aby wykonywał dane zadanie. Algorytm uczy się bezpieczeństwa przestrzeni cyfrowej i może być później przeniesiony do fizycznego robota. Ale ten proces wiąże się z własnymi wyzwaniami. Zbudowanie wirtualnego modelu, który dokładnie odtwarza wszystkie prawa fizyki, właściwości materiałów i zachowania manipulacyjne, jakie widzieliśmy w prawdziwym świecie, jest prawie niemożliwe — nie mówiąc już o nieoczekiwanych okolicznościach. Zatem im bardziej złożony jest robot i zadanie, tym trudniej zastosować wirtualnie wyszkolony algorytm w rzeczywistości fizycznej.

To właśnie zrobiło wrażenie na Kaelbling w wynikach OpenAI rok temu. Kluczem do sukcesu było to, że laboratorium mieszało symulowane warunki w każdej rundzie szkolenia, aby algorytm lepiej dostosowywał się do różnych możliwości.

Zepsuli swój symulator na różne szalone sposoby, mówi Kaelbling. Nie tylko zmienili siłę grawitacji — zmienili kierunek grawitacji. Więc próbując skonstruować strategię, która działała niezawodnie z tymi wszystkimi zwariowanymi permutacjami symulacji, algorytm faktycznie zadziałał w prawdziwym robocie.

W najnowszym artykule OpenAI idzie o krok dalej w tej technice. Wcześniej naukowcy musieli zrandomizować parametry w środowisku, wybierając ręcznie, które permutacje, ich zdaniem, doprowadzą do lepszego algorytmu. Teraz system szkoleniowy robi to sam. Za każdym razem, gdy robot osiąga pewien poziom mistrzostwa w istniejącym środowisku, symulator modyfikuje własne parametry, aby warunki szkolenia były jeszcze trudniejsze.

Rezultatem jest jeszcze bardziej niezawodny algorytm, który może poruszać się z precyzją wymaganą do obracania kostki Rubika w prawdziwym życiu. Podczas testów naukowcy odkryli, że Dactyl z powodzeniem rozwiązał sześcian w różnych warunkach, w których nie został przeszkolony. Na przykład był w stanie wykonać zadanie w gumowej rękawiczce, mając kilka splecionych razem palców i będąc poganianym przez wypchaną żyrafę-zabawkę.

Roboty ogólnego przeznaczenia

OpenAI uważa, że ​​najnowsze wyniki dostarczają mocnych dowodów na to, że ich podejście odblokuje więcej robotów ogólnego przeznaczenia, które mogą adaptować się w otwartych środowiskach, takich jak domowa kuchnia. Kostka Rubika to jeden z najbardziej skomplikowanych sztywnych obiektów, mówi Marcin Andrychowicz z OpenAI. Myślę, że inne obiekty nie będą dużo bardziej skomplikowane.

Chociaż istnieją bardziej złożone zadania, które wymagają większej liczby obiektów lub przedmiotów odkształcalnych, mówi, że jest przekonany, że metoda laboratoryjna może wyszkolić roboty do ich wszystkich: Myślę, że to podejście jest podejście do powszechnego przyjęcia robotyki.

Jednak zarówno Berenson, jak i Kaelbling pozostają sceptyczni. Można odnieść wrażenie, że istnieje jedna zunifikowana teoria lub system, a teraz OpenAI po prostu stosuje ją do tego zadania i tego zadania, mówi Berenson o poprzednim i bieżącym artykule. Ale wcale tak się nie dzieje. To są odosobnione zadania. Istnieją wspólne komponenty, ale jest też ogromna ilość inżynierii, aby każde nowe zadanie zadziałało.

Dlatego czuję się trochę nieswojo z twierdzeniami o tym, że prowadzi to do robotów ogólnego przeznaczenia, mówi. Postrzegam to jako bardzo specyficzny system przeznaczony do konkretnego zastosowania.

Częścią problemu, uważa Berenson, jest samo uczenie się przez wzmacnianie. Z natury technika jest zaprojektowana do opanowania jednej konkretnej rzeczy, z pewną elastycznością w obsłudze odmian. Jednak w prawdziwym świecie liczba potencjalnych zmian wykracza poza to, co można racjonalnie zasymulować. Na przykład podczas sprzątania możesz mieć różne rodzaje mopów, różne rodzaje wycieków i różne rodzaje podłóg.

Uczenie się przez wzmacnianie jest również przeznaczone do uczenia się nowych umiejętności w dużej mierze od podstaw. Nie jest to ani skuteczne w robotyce, ani zgodne z tym, jak ludzie się uczą. Jeśli jesteś już dość kompetentnym człowiekiem i próbowałem nauczyć cię umiejętności motorycznych w kuchni – na przykład, że nigdy nie ubijałeś czegoś łyżką – to nie jest tak, że musisz od nowa uczyć się całej kontroli motorycznej, mówi Kaelbling. .

Wychodzenie poza te ograniczenia, argumentuje Berenson, będzie wymagało innych, bardziej tradycyjnych technik robotyki. Pod koniec dnia nastąpią pewne procesy uczenia się – prawdopodobnie uczenie się wzmacniające – mówi. Ale myślę, że te faktycznie powinny nadejść znacznie później.

Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.

ukryć