Algorytm rozszerzający naukę o kolorze

Palety kolorów wydobyte z malarstwa artystycznego.

Badanie koloru przechodzi rewolucję. Do tej pory teoria kolorów była niewiele więcej niż zbiorem pomysłów luźno opartych na nauce.

Jednak możliwość analizowania ogromnych zbiorów danych obrazów za pomocą algorytmów widzenia maszynowego zmienia to. Nagle stało się możliwe badanie koloru i sposobu jego użycia na zupełnie inne sposoby. Na przykład, teraz łatwo jest wyodrębnić kombinacje kolorów z jednego obrazu i wkleić je na innym.

Ale ten proces wklejania kolorów jest tępym narzędziem. Może zamienić jeden zestaw kolorów na inny, ale nie może porównywać tych palet kolorów, decydować o tym, jak należy dopasować określone kolory ani wykrywać, czy w palecie brakuje koloru, i zastępować go.

Problem w tym, że nie ma sposobu na uporządkowanie kolorów. A to utrudnia porównywanie palet. Dlatego specjaliści od obrazów bardzo chcieliby mieć naturalny sposób porządkowania kolorów wyodrębnionych z obrazów, aby móc je porównywać.

Wchodzi Huy Phan z Politechniki Danii w Kopenhadze i kilku kumpli, którzy znaleźli na to sposób. Ich technika jest prosta do wdrożenia i natychmiast prowadzi do nowej generacji wzbogaconych filtrów obrazu, które są znacznie bardziej elastyczne niż obecnie dostępne.

Podstawowy problem jest prosty do określenia: biorąc pod uwagę paletę kolorów z dwóch obrazów, w jakiej kolejności powinny pojawiać się kolory, aby dokonać sensownego porównania? Mówiąc sensownie, zespół oznacza, że ​​kolory opisujące te same obiekty powinny być porównywalne.

Phan i spółka rozwiązują to jako rodzaj problemu sortowania. Najpierw oceniają obraz, wykreślając położenie zawartych w nim kolorów — jego palety — w trójwymiarowej przestrzeni kolorów (każdy kolor można traktować jako trójwymiarowy wektor opisujący, w jaki sposób składa się z mieszanki czerwieni, zieleni, i na przykład niebieski).

Następnie mierzą odległość między każdą parą kolorów w palecie. Wreszcie używają algorytmu, aby ustalić, jak mapować jedną paletę na drugą z minimalnymi zniekształceniami. Skutecznie ten algorytm znajduje klastry w przestrzeni kolorów każdej palety.

Ważny jest zestaw danych, z których korzystają. Uważamy, że palety kolorów wydobyte z kolekcji dzieł sztuki, które naszym zdaniem są bogatym źródłem stylistycznych i niepowtarzalnych motywów kolorystycznych, mówią Phan i spółka.

To również ogranicza tematykę, co jest kluczowe. Henri Matisse często używał w swoich obrazach głębokiej czerwieni i zieleni, podczas gdy Maximilien Luce używał mocnych błękitów i żółci do cieniowania obiektów. Ale ponieważ artyści ci używają zasadniczo podobnych scen (na przykład z podziałem na niebo i ląd), kolory są porównywalne.

Oznacza to, że zespół może założyć, że podobne skupiska kolorów opisują podobne obiekty. Algorytm następnie mapuje te klastry na siebie. W ten sposób może wykorzystać kolorystykę nieba na jednym zdjęciu i zastosować ten sam zestaw kolorów do nieba na innym zdjęciu.

A ponieważ transformacja jest stosowana do całej przestrzeni, łatwo jest mapować dowolny kolor z palety na odpowiedni kolor w drugiej palecie.

To prowadzi do naturalnego sposobu zamawiania kolorów. Phan i co robią to, określając najpierw liczbę kolorów, które pojawiają się w każdym klastrze. Phan i co używają pięciu jako standardowego przykładu (większe liczby wymagają znacznie więcej zasobów obliczeniowych).

Algorytm następnie znajduje pięć kolorów w pierwszym klastrze, następnie w drugim, trzecim i tak dalej. Porządkowanie tych klastrów umożliwia łatwe porównanie palet w każdym obrazie.

Metoda od razu prowadzi do kilku interesujących zastosowań. Na przykład tworzą aplikację o nazwie Photo-style Explorer, która działa jak filtr na Instagramie, ale w ciągłej przestrzeni kolorów. Zamiast wybierać spośród kilku predefiniowanych motywów, można swobodnie surfować po ciągłej przestrzeni możliwych koloryzacji zdjęć, aby wybrać preferowany motyw.

Inną opcją jest ponowne pokolorowanie zdjęć z różnymi paletami w różnych częściach obrazu. Można więc użyć jednej palety do ponownego kolorowania nieba, a drugiej do ponownego kolorowania drzew.

Pozwala również na lepszą analizę sygnatur kolorystycznych artystów i przeniesienie tych sygnatur na inne obrazy. Dzięki temu możliwe staje się szybkie przekolorowanie zdjęcia za pomocą palety kolorów Renoira lub Vincenta van Gogha.

To interesująca praca, która rozszerza możliwości wykorzystania koloru w nowoczesnych obrazach.

Nr ref.: http://arxiv.org/abs/1703.06003 : Colour Orchestra: Zamawianie palet kolorów do interpolacji i przewidywania

ukryć