Algorytm wizji maszynowej pokonuje historyków sztuki we własnej grze

Niewiele obszarów badań akademickich umknęło wpływowi informatyki i uczenia maszynowego. Ale jednym z nich jest historia sztuki. Wyzwanie, jakim jest analiza obrazów, rozpoznanie ich artystów, określenie ich stylu i treści zawsze przekraczało możliwości nawet najbardziej zaawansowanych algorytmów.

To się teraz zmienia dzięki niedawnym postępom w uczeniu maszynowym opartym na podejściach, takich jak głębokie konwolucyjne sieci neuronowe. W ciągu zaledwie kilku lat informatycy stworzyli maszyny zdolne do dopasowania, a czasem nawet przewyższające ludzi, we wszelkiego rodzaju zadaniach rozpoznawania wzorców.

Dziś widzimy, jak zaawansowane stały się te podejścia w rękach Babaka Saleha i Ahmeda Elgammala z Rutgers University w New Jersey. Ci faceci wykorzystali te nowe techniki uczenia maszynowego do trenowania algorytmów rozpoznawania artysty i stylu malarstwa artystycznego z dokładnością, której nigdy wcześniej nie osiągnięto.

Co więcej, wyniki ujawniają powiązania między artystami i całymi stylami malarskimi, nad zrozumieniem których historycy sztuki pracowali przez lata.

Saleh i Elgammal zaczynają od bazy danych zawierającej obrazy ponad 80 000 obrazów ponad 1000 artystów z 15 wieków. Obrazy te obejmują 27 różnych stylów, każdy z ponad 1500 przykładami. Badacze klasyfikują również prace według gatunków, takich jak wnętrze, pejzaż miejski, krajobraz i tak dalej.

Następnie biorą podzbiór obrazów i wykorzystują je do trenowania różnego rodzaju najnowocześniejszych algorytmów uczenia maszynowego w celu wykrycia określonych funkcji. Należą do nich ogólne, niskopoziomowe funkcje, takie jak ogólny kolor, a także bardziej zaawansowane funkcje opisujące obiekty na obrazie, takie jak koń i krzyż. Efektem końcowym jest wektorowy opis każdego obrazu, który zawiera 400 różnych wymiarów.

Następnie naukowcy testują algorytm na zestawie obrazów, których jeszcze nie widział. A wyniki są imponujące. Ich nowe podejście pozwala dokładnie zidentyfikować artystę w ponad 60 procentach obrazów, które widzi, a styl w 45 procentach z nich.

Ale co najważniejsze, podejście oparte na uczeniu maszynowym zapewnia wgląd w naturę sztuki, która w innym przypadku jest trudna do rozwinięcia nawet dla ludzi. Wynika to z analizy obrazów, które algorytmowi trudno sklasyfikować.

Na przykład Saleh i Elgammal twierdzą, że w ich nowym podejściu trudno jest odróżnić prace namalowane przez Camille Pissarro i Claude'a Moneta. Ale krótkie badania nad tymi artystami szybko pokazują, że obaj byli aktywni we Francji pod koniec XIX i na początku XX wieku i że obaj uczęszczali do Académie Suisse w Paryżu. Ekspert może również wiedzieć, że Pissarro i Monet byli dobrymi przyjaciółmi i dzielili się wieloma doświadczeniami, które przyczyniły się do ich sztuki. Nie dziwi więc fakt, że ich praca jest podobna.

Innym przykładem jest to, że nowe podejście myli prace Claude'a Moneta i amerykańskiego impresjonisty Childe Hassama, który, jak się okazuje, był pod silnym wpływem francuskich impresjonistów, a Moneta w szczególności. Są to linki, których odkrycie może zająć człowiekowi trochę czasu.

Podejście algorytmiczne znajduje również powiązania między pewnymi stylami artystycznymi. Na przykład często myli przykłady abstrakcyjnego ekspresjonizmu i malarstwa akcji, w których artyści kapią lub rzucają farbą i wkraczają na płótno. Saleh i Elgammal ponownie mówią, że tego rodzaju pomieszanie byłoby całkowicie zrozumiałe dla ludzkiego widza. „Malarstwo akcji” to rodzaj lub podgatunek ekspresjonizmu abstrakcyjnego” – podkreślają.

Algorytm dostrzega wiele innych podobieństw. Łączy ekspresjonizm i fowizm, czego można się spodziewać, biorąc pod uwagę, że ten ostatni ruch jest często uważany za rodzaj ekspresjonizmu. Łączy on styl manierystyczny i renesansowy, co wyraźnie świadczy o tym, że manieryzm jest formą malarstwa wczesnorenesansowego.

Znajduje też inne, prostsze powiązania, na przykład między malarstwem renesansowym i wczesnorenesansowym, między impresjonizmem a postimpresjonizmem, między kubizmem a jego późniejszym przejawem, kubizmem syntetycznym.

Te powiązania są dobrze znane historykom sztuki, ale tylko dzięki wielu dziesięcioleciom, a nawet wiekom nauki. Natomiast podejście do uczenia maszynowego obejmuje zaledwie kilka miesięcy.

Ma to ważne implikacje dla studiowania historii sztuki. Jednym z zastosowań nowych algorytmów jest wybieranie obrazów o podobnych cechach (patrz obrazy). Daje to historykom nowe i potężne narzędzie do poszukiwania wpływów między artystami, których być może nigdy nie byli świadomi.

Pozwala także na nową formę eksploracji sztuki, przeskakiwania z jednego obrazu do drugiego podobnego w procesie, który jest wizualnie równoważny ze znajdowaniem synonimów.

Fascynujące rzeczy!

Nr ref.: arxiv.org/abs/1505.00855 : Klasyfikacja obrazów artystycznych na dużą skalę: nauka właściwej metryki na odpowiednim elemencie

ukryć