Algorytm widzenia maszynowego uczy się przekształcać ręcznie rysowane szkice w fotorealistyczne obrazy

Rysowanie dokładnego szkicu twarzy osoby jest sztuką trudną do opanowania dla większości ludzi. Okazuje się jednak, że dla komputerów jest to stosunkowo łatwe. Istnieją różne programy do konwersji obrazów na rysunki. To często daje przyzwoity początek, chociaż te systemy mogą mieć problemy z cieniami i wysokim kontrastem.

Bardziej obiecującym podejściem jest wykorzystanie algorytmów widzenia maszynowego, które opierają się na sieciach neuronowych w celu wyodrębnienia cech z obrazu i wykorzystania ich do stworzenia szkicu. W tej dziedzinie maszyny zaczęły rywalizować, a nawet przewyższać ludzi w tworzeniu dokładnych szkiców.

Ale co z odwrotnym problemem? Zaczyna się od szkicu i ma na celu stworzenie dokładnego, kolorowego zdjęcia oryginalnej twarzy. To zdecydowanie trudniejsze zadanie, tak bardzo, że ludzie rzadko nawet próbują.

Teraz maszyny rozwiązały ten problem. Dzisiaj Yagmur Gucluturk, Umut Guclu i koledzy z Uniwersytetu Radboud w Holandii nauczyli sieci neuronowej, jak zamieniać ręcznie rysowane szkice twarzy w fotorealistyczne portrety. Praca jest kolejną demonstracją sposobu, w jaki inteligentne maszyny, aw szczególności sieci neuronowe, zaczynają przewyższać ludzi w coraz bardziej różnorodnych zadaniach.

Zespół Radboud zaczyna od zestawu danych składającego się z 200 000 zdjęć twarzy pobranych z Internetu. Przekształcili je w rysunki liniowe, szkice w skali szarości i szkice kolorowe, używając standardowych algorytmów przetwarzania obrazu. Stworzyło to pokaźny zestaw danych treningowych, aby nauczyć głębokiej splotowej sieci neuronowej z 11 warstwami wykonywanie zadania w odwrotnej kolejności: przekształcenie szkicu w fotorealistyczne kolorowe zdjęcie twarzy.

Po wytrenowaniu sieci zespół sprawdził ją, korzystając z innego zestawu danych. Zadaniem sieci neuronowej było rozpoczęcie szkicu i stworzenie fotorealistycznego obrazu.

Wyniki są imponujące, zwłaszcza gdy sieć neuronowa zaczęła się od rysowania linii. Zespół stwierdził, że model linii działał imponująco pod względem dopasowania koloru włosów i skóry poszczególnych osób, nawet jeśli szkice linii nie zawierały żadnych informacji o kolorze.

Powód wydaje się jasny. Sugerują, że może to wskazywać, że oprócz wykorzystania różnic luminancji na szkicach do wnioskowania o kolorystyce, model był w stanie nauczyć się właściwości koloru często kojarzonych z wysokimi rysami twarzy różnych grup etnicznych.

Następnie zespół przetestował sieć neuronową na zupełnie innym zbiorze danych, używając odręcznych szkiców, które oczywiście są generowane w zupełnie inny sposób niż te, na których trenowano sieć. Podobno model po raz kolejny zsyntetyzował fotorealistyczne obrazy twarzy.

Sieć oczywiście nie była idealna. W szczególności miał problemy, gdy pociągnięciom ołówka w odręcznych szkicach nie towarzyszyło cieniowanie. Doprowadziło to do mniej realistycznych wyników. Można to wyjaśnić brakiem takich cech w danych uczących modelu szkicu liniowego, jak mówią, dodając, że tę wadę można łatwo przezwyciężyć, umieszczając w zbiorze uczącym przykłady, które bardziej przypominają styl rysowania artystów szkicu, mówią badacze Radboud.

Wreszcie zespół pozwolił swojej sieci neuronowej na popisowe przedstawienie, tworząc fotorealistyczne obrazy artystów takich jak Rembrandt i Van Gogh na podstawie naszkicowanych autoportretów, które obaj wykonali.

To imponująca praca, która pokazuje, jak głębokie sieci neuronowe szybko zaczynają przewyższać ludzi w zadaniach widzenia. Oczywiste natychmiastowe zastosowanie znajduje się w kryminalistyce, gdzie dokładne obrazy podejrzanych muszą być konstruowane przez policyjnych artystów.

A to tylko jeden z wielu sposobów, w jaki te maszyny pokazują swoją wyższość. Algorytmy widzenia maszynowego mogą również wykonywać zadania, takie jak kopiowanie i wklejanie stylu artystycznego z jednego obrazu do drugiego, dokładne dodawanie kolorów do obrazów w skali szarości i przekształcanie obrazów o niskiej rozdzielczości w obrazy o wysokiej rozdzielczości.

Wszystko to wydarzyło się w ciągu zaledwie kilku lat rozwoju, a głębokie sieci neuronowe mają znacznie więcej do zrobienia. Trudno przewidzieć, do czego będą zdolni, powiedzmy, za rok.

Nr ref.: arxiv.org/abs/1606.03073 : Odwrócenie konwolucyjnego szkicu

ukryć