Algorytmy potrafią zamienić każdą scenę w komiks

Komiksy przybierają formę serii nieruchomych obrazów, które razem opowiadają historię. Obrazy są często bardzo stylizowane, a graficy podziwiani za ich kunszt.

Ale ten rodzaj artyzmu jest trudny do nauczenia i trudny do doskonalenia, co sprawia, że ​​jego produkcja jest czasochłonna i droga. Tak więc artyści, wydawcy i czytelnicy bardzo pokochaliby zautomatyzowany sposób, aby obraz naśladował pożądany styl komiksowy.

Okazuje się, że taki algorytm już istnieje. W 2015 roku grupa badaczy z Niemiec odkryła sposób na przeniesienie stylu artystycznego jednego obrazu na drugi. Od tego czasu inni stale ulepszali to podejście, aby było szybsze i dokładniejsze.

Od lewej do prawej: oryginalny obraz graficzny, obraz docelowy i wynikowy stylizowany obraz

Jednak dotychczas praca koncentrowała się na przeniesieniu stylu artystów takich jak Picasso i Van Gogh na inne obrazy lub na zmienianiu zwykłych obrazów w taki sposób, jak zamiana nocy w dzień. Jak dobrze te algorytmy działają z często bardziej stylizowanymi obrazami tworzonymi przez twórców komiksów?

Dziś otrzymujemy odpowiedź dzięki pracy Macieja Pęśko i Tomasza Trzcińskiego na Politechnice Warszawskiej w Polsce. Ci faceci zastosowali różne rodzaje transferu stylu obrazu do grafiki komiksowej i porównali wyniki.

Najpierw trochę tła. Podejście to rozpoczęło się od pracy Leona Gatysa na Uniwersytecie w Tybindze i kilku kumpli, którzy badali sposób, w jaki głębokie sieci neuronowe rejestrowały i analizowały styl artystyczny. Sieci te składają się z warstw, z których każda analizuje obraz na innym poziomie — szczegóły, takie jak kształty, kolory i linie.

Kluczowym spostrzeżeniem stojącym za twórczością Gatys and co jest to, że styl artystyczny nie jest uchwycony w samych warstwach, ale w korelacjach między nimi. To natychmiast umożliwia oddzielenie stylu artysty od treści sztuki, a nawet przeniesienie go z jednego obrazu na drugi.

I dokładnie to zrobili Gatys i współpracownicy, ku powszechnemu zdumieniu społeczności komputerowej. Praca ta stała się podstawą nowej subdyscypliny wizji komputerowej znanej jako transfer stylów neuronowych.

Jednym z problemów nowego podejścia jest to, że wymaga dużej mocy obliczeniowej. Analiza obrazu, pozbycie się jego stylu i zastosowanie go do innej sceny zajmuje dużo czasu — kilka sekund w przypadku obrazów o rozdzielczości 512 x 512 pikseli na nowoczesnych komputerach stacjonarnych.

Dlatego informatycy zaczęli szukać różnych podejść, które mogłyby szybciej wykonać zadanie. I rzeczywiście, wymyślili różne algorytmy, które wykonują podobną pracę. Istnieje jednak kompromis między szybkością a jakością.

Wejdź Pęśko i Trzciński. Ci faceci przetestowali szeroką gamę algorytmów przesyłania stylów neuronowych w konkretnym zadaniu przesyłania stylów graficznych związanych z komiksami. Mówią, że to pierwsza próba oceny i porównania wyników uzyskanych kilkoma metodami w kontekście przeniesienia stylu komiksowego.

Koncentrują się w szczególności na najszybszych technikach, które mają potencjał do pracy na dowolnym obrazie graficznym. Skupiamy się głównie na metodach, których czas wykonania jednego obrazu nie przekracza 2 sekund, mówią.

W ten sposób przetestowali pięć różnych algorytmów na obrazach o rozdzielczości 600 x 450 pikseli przetwarzanych przy użyciu 12-gigabajtowego procesora graficznego Titan X. Wybrali obrazy reprezentujące różne style komiksowe i przenieśli je do obrazów wybranych losowo z wyszukiwarki grafiki Google.

Na koniec pokazali wyniki 100 osobom, aby ocenić, jak dobrze algorytmy osiągnęły transfer stylu.

Wyniki pokazują stan wiedzy w tej dziedzinie. Najlepiej ocenionym algorytmem jest technika znana jako adaptacyjna normalizacja instancji, opracowana w 2017 r., która uzyskała około 30 procent głosów na jej korzyść. Potwierdza to nasze przypuszczenia, że ​​ta metoda daje rezultaty najbliższe kreskówce czy komiksowi pod względem podobieństwa stylistycznego – mówią Pęśko i Trzciński.

Jednak wyniki w żadnym wypadku nie są doskonałe. Wszystkie techniki są do pewnego stopnia obarczone problemami, takimi jak niewłaściwe przenoszenie kolorów i rozmycie. Uważamy, że wciąż jest miejsce na poprawę, twierdzą naukowcy.

To jest szansa. Rynek komiksów w samych Stanach Zjednoczonych jest wart miliarda dolarów rocznie. I jest wiele części świata, które nie rozwinęły jeszcze własnej kultury wokół komiksów, na przykład Indie. Są więc rynki, które mają potencjał wzrostu.

Umiejętność tworzenia wysokiej jakości obrazów komiksowych będzie znacząca dla każdego, kto chce podbić te rynki.

Jest jednak inny problem: wyzwanie polegające na stworzeniu potężnych postaci i fascynujących fabuł. Sieci neuronowe nie mogą w tym pomóc… przynajmniej jeszcze nie.

Nr ref.: arxiv.org/abs/1809.01726 : Transfer stylu komiksu neuronowego: studium przypadku

ukryć