Maszyna Google do głębokiego uczenia się uczy się syntetyzować obrazy świata rzeczywistego

Google Street View oferuje panoramiczne widoki na mniej więcej każdą ulicę miasta w większości rozwiniętego świata, a także widoki wzdłuż niezliczonych ścieżek, wewnątrz centrów handlowych oraz wokół muzeów i galerii sztuki. To niezwykłe osiągnięcie nowoczesnej inżynierii, które zmienia sposób, w jaki myślimy o otaczającym nas świecie.

Ale chociaż Street View może nam pokazać, jak wyglądają odległe miejsca, nie pokazuje, jak wyglądałby proces podróżowania lub odkrywania. Łatwo jest wymyślić rozwiązanie: wystarczy odtworzyć sekwencję zdjęć Street View jeden po drugim, aby utworzyć film.

Ale to nie działa tak dobrze, jak możesz sobie wyobrazić. Uruchamianie tych obrazów z szybkością 25 klatek na sekundę lub mniej więcej sprawia, że ​​sceneria biegnie śmiesznie szybko. Może to być akceptowalne, gdy sceneria się nie zmienia, na przykład wzdłuż autostrad i autostrad lub poprzez niezmienne krajobrazy. Ale jest to całkowicie nie do przyjęcia w przypadku widoków na ruchliwe ulice lub w galerii sztuki.

Więc Google wymyśliło rozwiązanie: dodaj dodatkowe klatki między tymi zarejestrowanymi przez kamery Street View. Ale jak powinny wyglądać te ramki?

Dzisiaj John Flynn i kumple z Google ujawniają, w jaki sposób wykorzystali ogromną wiedzę firmy o uczeniu maszynowym, aby ustalić, jak te brakujące ramki powinny wyglądać, po prostu studiując ramki po obu stronach. Rezultatem jest obliczeniowa maszyna filmowa, która może przekształcić mniej więcej dowolną sekwencję obrazów w płynnie działający film, interpolując brakujące klatki.

Wyzwanie, które postawili sobie Flynn i spółka, jest proste. Mając zestaw obrazów konkretnego miejsca, celem jest synteza nowego obrazu tego samego obszaru z innego kąta widzenia.

To nie jest łatwe. Dokładne rozwiązanie wymagałoby pełnej wiedzy 3D o całej widocznej geometrii w niewidocznym widoku, która jest generalnie niedostępna z powodu okluderów, powiedzmy Flynn i spółka.

Rzeczywiście, jest to problem, który informatycy drapią się po głowach od dziesięcioleci i jest to problem ściśle związany z problemem szacowania trójwymiarowego kształtu sceny na podstawie dwóch lub więcej jej obrazów.

Informatycy opracowali różne sposoby rozwiązania tego problemu, ale wszyscy borykają się z podobnymi problemami, zwłaszcza gdy brakuje informacji z powodu zasłaniania jednego obiektu przez inny. Prowadzi to do rozdarcia obrazu, gdzie nie ma wystarczającej ilości informacji, oraz do zaniku drobnych szczegółów. Szczególnym wyzwaniem są obiekty zawierające drobne szczegóły, a także samozasłaniające, takie jak drzewa.

Nowe podejście Flynn i spółki polega na wytrenowaniu algorytmu widzenia maszynowego, aby ustalić, jak nowy obraz powinien wyglądać po przeszkoleniu na ogromnym zbiorze danych obrazów sekwencyjnych.

Zadaniem komputera jest potraktowanie każdego obrazu jako zestawu pikseli i określenie głębi i koloru każdego piksela, biorąc pod uwagę głębię i kolor odpowiednich pikseli na obrazach, które pojawią się przed i po nim w filmie.

Wytrenowali swój algorytm o nazwie DeepStereo, wykorzystując obrazy scen ulicznych uchwyconych przez poruszający się pojazd. Rzeczywiście, używają 100 000 tych sekwencji jako zestawu danych treningowych.

Następnie przetestowali go, usuwając jedną klatkę z sekwencji zdjęć Street View i prosząc ją o odtworzenie jej, patrząc tylko na inne zdjęcia w sekwencji. Na koniec porównują zsyntetyzowany obraz z tym, który został usunięty, dając im rodzaj złotego standardu, z którym można go skontrastować.

Wyniki są imponujące. Ogólnie rzecz biorąc, nasz model tworzy wiarygodne dane wyjściowe, które trudno od razu odróżnić od oryginalnych obrazów, powiedzmy Flynn i spółka.

Z powodzeniem odtwarza trudne obiekty, takie jak drzewa i trawa. A kiedy zawodzi, na przykład w przypadku odbić lustrzanych, robi to z wdziękiem, a nie przez rozdarcie.

W szczególności dobrze radzi sobie z poruszającymi się obiektami. Mówią, że wydają się rozmazane w sposób, który wywołuje rozmycie ruchu.

Metoda nie jest jednak idealna. Zauważalne artefakty w naszych wynikach to niewielka utrata rozdzielczości i zniknięcie cienkich struktur pierwszego planu – mówi zespół Google. Częściowo zaciemnione obiekty mają tendencję do nadmiernego rozmycia obrazu.

Jest to również intensywne obliczeniowo. Flynn i spółka twierdzą, że na wielordzeniowej stacji roboczej wytworzenie jednego nowo zsyntetyzowanego obrazu zajmuje 12 minut. Więc te obrazy nie mogą być tworzone w locie. Zespół spodziewa się jednak poprawić to w przyszłości poprzez optymalizację procesu generowania obrazu.

To imponująca praca, która po raz kolejny pokazuje potencjał technik głębokiego uczenia się. Zespół prezentuje swoje wyniki w wideo zamieszczone tutaj , który pokazuje filmy nagrane na podstawie danych Street View.

Ale powinien mieć również inne zastosowania w generowaniu treści na potrzeby telekonferencji, rzeczywistości wirtualnej i kinematografii. Może to nawet zmniejszyć obciążenie pracą animatorów ramek zatrzymania.

Tak czy inaczej, spodziewaj się, że filmy podróżnicze Google Street View zalewają sieć w niezbyt odległej przyszłości.

Nr ref.: arxiv.org/abs/1506.06825 : DeepStereo: nauka przewidywania nowych widoków na podstawie obrazów z całego świata

ukryć