Facebook szkoli asystentów robotów, aby słyszeli i widzieli

Masz Facebooka

W czerwcu 2019 r. laboratorium AI Facebooka, FAIR, wydało AI Habitat, nową platformę symulacyjną do szkolenia agentów AI. Umożliwiało agentom eksplorację różnych realistycznych środowisk wirtualnych, takich jak umeblowane mieszkanie lub biuro wypełnione kabinami. Sztuczną inteligencję można następnie przenieść do robota, który zyskałby spryt, by poruszać się po rzeczywistym świecie bez awarii.

W ciągu roku FAIR szybko przesunął granice swojej pracy nad wcieloną sztuczną inteligencją. W wpis na blogu dzisiaj , laboratorium ogłosiło trzy dodatkowe kamienie milowe: dwa nowe algorytmy, które umożliwiają agentowi szybkie tworzenie i zapamiętywanie mapy przestrzeni, w których porusza się, oraz dodanie dźwięku na platformie, aby nauczyć agentów słyszenia.

Algorytmy bazują na pracy FAIR w styczniu tego roku, kiedy agent został przeszkolony w Habitat poruszać się w nieznanym środowisku bez mapy . Używając tylko kamery wykrywającej głębię, GPS i danych z kompasu, nauczył się wchodzić w kosmos tak, jak zrobiłby to człowiek i znajdować najkrótszą możliwą drogę do celu bez błędnych skrętów, cofania się lub eksploracji.

Pierwszy z tych nowych algorytmów może teraz jednocześnie zbudować mapę przestrzeni, umożliwiając zapamiętanie otoczenia i szybsze poruszanie się po nim, jeśli powróci. Drugi poprawia zdolność agenta do mapowania przestrzeni bez konieczności odwiedzania każdej jej części. Po przeszkoleniu w wystarczającej liczbie środowisk wirtualnych jest w stanie przewidzieć pewne funkcje w nowym; może na przykład wiedzieć, że za wyspą kuchenną prawdopodobnie będzie pusta podłoga bez konieczności przechodzenia na drugą stronę, aby zajrzeć. Po raz kolejny ostatecznie pozwala to agentowi na szybsze poruszanie się po środowisku.

W końcu laboratorium stworzyło również SoundSpaces, narzędzie do renderowania dźwięku, które pozwala naukowcom dodać wysoce realistyczną akustykę do dowolnego środowiska siedliskowego. Może odtwarzać dźwięki wydawane przez uderzanie w różne meble lub odgłosy obcasów w porównaniu z tenisówkami na podłodze. Dodatek daje Habitatowi możliwość szkolenia agentów w zadaniach, które wymagają zarówno wizualnego, jak i słuchowego wyczuwania, takich jak Zdobądź mój dzwoniący telefon lub Otwórz drzwi, do których ktoś puka.

Spośród tych trzech osiągnięć najbardziej ekscytujące jest dodanie treningu dźwiękowego, mówi Ani Kembhavi, badacz robotyki w Allen Institute for Artificial Intelligence, który nie był zaangażowany w prace. Podobne badania w przeszłości koncentrowały się bardziej na umożliwieniu agentom widzenia poleceń tekstowych lub reagowania na nie. Dodanie dźwięku to niezbędny i ekscytujący następny krok, mówi. Widzę wiele różnych zadań, w których wejścia audio byłyby bardzo przydatne. Zwłaszcza połączenie wizji i dźwięku jest niedostatecznie zbadanym obszarem badań, mówi Pieter Abeel, dyrektor Robot Learning Lab na Uniwersytecie Kalifornijskim w Berkeley.

Jak twierdzą naukowcy z FAIR, każde z tych osiągnięć stopniowo przybliża laboratorium do osiągnięcia inteligentnych robotów asystentów. Celem jest, aby tacy towarzysze byli w stanie poruszać się zwinnie i wykonywać skomplikowane zadania, takie jak gotowanie.

Ale minie dużo czasu, zanim będziemy mogli wypuścić robota-pomocników w kuchni. Jedna z wielu przeszkód, które FAIR musi pokonać: przeniesienie całego wirtualnego treningu do świata fizycznego, proces znany jako transfer sim2real. Kiedy naukowcy początkowo testowali swoje wirtualnie wytrenowane algorytmy w fizycznych robotach, proces nie przebiegał tak dobrze.

Idąc dalej, naukowcy z projektu FAIR mają nadzieję rozpocząć dodawanie możliwości interakcji również do Habitatu. Powiedzmy, że jestem agentem, mówi Kristen Grauman, naukowiec z FAIR i profesor informatyki na University of Texas w Austin, który kierował niektórymi pracami. Wchodzę i widzę te przedmioty. Co mogę z nimi zrobić? Gdzie bym poszedł, gdybym miał zrobić suflet? Jakie narzędzia bym wybrał? Tego rodzaju interakcje, a nawet zmiany w środowisku oparte na manipulacji, przeniosłyby ten rodzaj pracy na inny poziom. To coś, do czego aktywnie dążymy.

ukryć