Algorytm klonuje styl artystyczny Van Gogha i wkleja go na inne obrazy, filmy

Natura stylu artystycznego jest dla większości ludzi czymś tajemniczym. Pomyśl o Vincenta Van Gogha Gwieździsta noc , praca Picassa o kubizmie, czy Edvarda Muncha Krzyk . Wszystkie mają potężny, niepowtarzalny styl, który ludzie łatwo rozpoznają.

Ale co z maszynami? Głębokie sieci neuronowe rewolucjonizują sposób, w jaki maszyny rozpoznają i interpretują świat. Widzenie maszynowe obecnie rutynowo przewyższa ludzi w zadaniach takich jak rozpoznawanie obiektów i twarzy, co było niewyobrażalne jeszcze kilka lat temu.

Ostatnio urządzenia te podjęły pierwsze nieśmiałe kroki w kierunku rozpoznania stylu artystycznego, a nawet jego reprodukcji. Nie wiadomo, jak daleko może się posunąć ten rodzaj pracy. Na przykład, czy można skopiować styl artystyczny i wkleić go z jednego obrazu do całego wideo bez tworzenia artefaktów, które psują wrażenia wizualne?

Dziś Manuel Ruder i koledzy z Uniwersytetu we Fryburgu w Niemczech pokazują, że dokładnie to jest możliwe. Ci faceci biorą słynne dzieła sztuki, takie jak Gwieździsta noc oraz Krzyk i przenieść ich styl do szeregu sekwencji wideo zaczerpniętych z filmów, takich jak: Epoka lodowcowa i programy telewizyjne, takie jak Miss Marple. Rezultatem jest imponujące renderowanie filmów i możliwość wykonania tego w niemal każdym stylu, jaki można sobie wyobrazić.

Głębokie sieci neuronowe składają się z wielu warstw, z których każda wyodrębnia informacje z obrazu, a następnie przekazuje pozostałe dane do następnej warstwy. Pierwsze warstwy wydobywają szerokie wzory, takie jak kolor, a głębsze warstwy wydobywają coraz więcej szczegółów, co umożliwia rozpoznawanie obiektów.

Ważne są informacje wydobywane przez głębsze warstwy. Zasadniczo jest to zawartość obrazu bez informacji kontekstowych, takich jak kolor, tekstura i tak dalej. W pewnym sensie jest to komputerowy odpowiednik rysunku liniowego.

W zeszłym roku Leon Gatys z Uniwersytetu w Tybindze i kilku kumpli rozpoczęli w ten sposób studia nad stylem artystycznym. Odkryli, że można uchwycić styl artystyczny, patrząc nie na informacje w każdej warstwie, ale na korelacje między warstwami. Tak więc sposób, w jaki artysta reprodukuje twarz, jest skorelowany ze sposobem, w jaki reprodukuje drzewo, dom lub słońce. Uchwycenie tej korelacji pozwala również uchwycić styl.

Ale ich kluczowym odkryciem było to, że treść obrazu można całkowicie oddzielić od stylu artystycznego. Co więcej, odkryli, że mogą wziąć ten artystyczny styl i skopiować go i wkleić do treści dowolnego innego obrazu.

Nagle staje się możliwe uchwycenie abstrakcyjnego stylu Kandinsky'ego i wklejenie go na zdjęcie swojego kota. To świetna zabawa. Ale pojawiło się również pytanie, jak daleko można posunąć tę technikę.

Oczywistym następnym krokiem jest wklejanie stylu artystycznego na kolejnych obrazach, aby stworzyć film. Ale to natychmiast powoduje problemy. Niewielkie różnice pomiędzy kolejnymi kadrami mogą prowadzić do dużych różnic w sposobie zastosowania nowego stylu artystycznego. A to sprawia, że ​​wideo wydaje się nerwowe i niespójne wizualnie. Szczególnym problemem są krawędzie obiektów, gdy się poruszają lub zostają zasłonięte.

Teraz Ruder i spółka rozwiązali ten problem. Mówią, że biorąc pod uwagę artystyczny obraz, przenosimy jego specyficzny styl malowania na cały film.

Ich podejście polega na wykorzystaniu algorytmu, który analizuje odchylenia między kolejnymi przetworzonymi klatkami i zapobiega dużym różnicom, ale robi to z pominięciem obszarów sceny, które pojawiają się w polu widzenia po ich zasłonięciu. Pozwala to na proces odbudowy przesuniętych obszarów i zniekształconych granic ruchu przy jednoczesnym zachowaniu wyglądu reszty obrazu, jak mówią.

Wyniki są imponujące. Zespół wykorzystuje swój algorytm do wyodrębnienia stylu artystycznego wielu różnych dzieł Kandinsky'ego, Picassa, Matisse'a, Turnera i oczywiście Muncha i Van Gogha.

Przetwarzali każdy nadal w sekwencjach w rozdzielczości 1024 x 436 na procesorze graficznym Nvidia Titan X z jednoczesnym przetwarzaniem równoległym na procesorze. Ten proces na początku zajmuje około ośmiu minut na klatkę. Ale po optymalizacji spada to średnio do około trzech minut na klatkę. Cały proces jest więc intensywny obliczeniowo.

Najlepszym sposobem na docenienie wyniku jest: Obejrzyj wideo , imponującą kolekcję sekwencji z szerokiej gamy filmów, animacji komputerowych i programów telewizyjnych.

Oczywiście wciąż można wprowadzić ulepszenia. Algorytm zmaga się z bardzo szybkimi lub dużymi ruchami między klatkami i powinna być możliwa dalsza optymalizacja procesu w celu skrócenia czasu obliczeń. Ale żaden z tych problemów nie wygląda na popisowe.

Praca rodzi interesujące pytanie, jak daleko można posunąć tę technikę. Na przykład łatwo wyobrazić sobie aplikacje, które mogłyby to robić w chmurze podczas filmowania na smartfonie. Ale czy byłoby również możliwe wklejenie stylu? Krzyk w trzy wymiary i dalej w wirtualną rzeczywistość? Trudno wymyślić powody, dla których nie.

Wszystko to zwiastuje zupełnie nowe podejście do filmowania, ale także do sztuki. Kiedy styl artystyczny staje się towarem, który można przecinać i wklejać z jednego obrazu do drugiego, co to oznacza dla pracy artystów? Nietrudno sobie wyobrazić, jak te style można edytować, a nawet łączyć w celu uzyskania hybryd.

Czy ktoś ma ochotę na Rubensa-Picasso, Warhola-Moneta lub Burtona-Bergmana?

Nr ref.: arxiv.org/abs/1604.08610 : Transfer stylu artystycznego do filmów

ukryć