Czy to pierwsza wyobraźnia obliczeniowa?

Wyobraź sobie dąb na polu pszenicy, na tle bezchmurnego błękitnego nieba w senne słoneczne popołudnie. Istnieje duże prawdopodobieństwo, że większość ludzi czytających to zdanie może z łatwością wyobrazić sobie sielankową scenę oczami wyobraźni. Ta umiejętność odczytywania opisu sceny, a następnie wyobrażania sobie, że zawsze była wyjątkowo ludzka. Ale ta cenna umiejętność może nie być już tylko nasza.

Każdy, kto myśli, że tego rodzaju wyobrażenia wykraczają daleko poza możliwości dzisiejszych maszyn obliczeniowych, będzie zaskoczony pracą Hiroharu Kato i Tatsuyi Harady z Uniwersytetu Tokijskiego w Japonii.

Dziś ci faceci odsłaniają maszynę, która potrafi przełożyć opis przedmiotu na obraz. Innymi słowy, ich komputer może wyczarować obraz zewnętrznego obiektu, który w inny sposób nie byłby obecny. To całkiem dobra definicja wyobraźni – w tym przypadku odmiany obliczeniowej.

Z pewnością te komputerowe wyobrażenia są proste, czasem mylące i często bezsensowne. Ale fakt, że są one w ogóle możliwe, stanowi znaczący krok naprzód dla kreatywności obliczeniowej.

Informatycy od dawna zmagają się z radzeniem z obrazami z łatwością i mocą, z jaką radzą sobie za pomocą słów. Łatwo jest na przykład wpisać słowo lub sekwencję słów do wyszukiwarki i znaleźć bardzo trafne dopasowania.

Nie dzieje się tak z powodu jakiejś specjalnej zdolności obliczeniowej do rozumienia słów. Dzieje się tak po prostu przez traktowanie słów statystycznie, jak liczenie ich z worka. Rzeczywiście, techniki worka-of-words, takie jak ta, stały się niezwykle potężne. W przeciwieństwie do tego, nie ma równoważnej zdolności dla obrazów.

Kilka lat temu informatycy zaczęli traktować obrazy w ten sam sposób. Rozpoczęli od myślenia o obrazie jako serii pikseli, które dzielą na krótkie sekwencje odpowiadające określonej części obrazu. Na przykład krótka sekwencja może odpowiadać krawędzi filiżanki, obszarowi skóry lub części nieba i tak dalej.

Te krótkie sekwencje niewiele znaczą dla ludzi, ale dla komputera można je traktować jak słowa. Tak więc komputer może analizować obraz, zliczając liczbę sekwencji i częstotliwość ich występowania, podobnie jak może traktować dokument, licząc, jak często pojawiają się słowa. Zdjęcie nieba składałoby się z wielu sekwencji odpowiadających częściom nieba. A obraz filiżanki herbaty miałby wiele sekwencji odpowiadających krawędzi filiżanki i tak dalej.

To od razu pozwala na porównanie zdjęć. Komputer może przeszukiwać bazę tak przeanalizowanych obrazów, szukając podobnych wzorów sekwencji na innych obrazach. Pomysł polega na tym, że dwa obrazy o podobnym rozkładzie sekwencji powinny wyglądać podobnie, a badacze rzeczywiście odnieśli pewien sukces dzięki tej technice wyszukiwania dopasowań.

Przez analogię do tekstu, informatycy nazywają te sekwencje słowami wizualnymi. A to nowe podejście do analizy obrazu znane jest jako technika worka wizualnych słów. Analizuje obraz, zliczając rozkład statystyczny zawartych w nim wizualnych słów.

Pytanie, które zadają Kato i Harada, jest przeciwieństwem tego. Biorąc pod uwagę rozmieszczenie wizualnych słów, jaki był oryginalny obraz? Jest to o wiele trudniejszy problem, ponieważ chociaż wizualne słowo opisuje część obrazu, nie wyjaśnia, skąd pochodzi obraz ani do jakich innych wizualnych słów było mu bliskie.

Mówią, że ten problem jest podobny do rozwiązywania puzzli. Wizualne słowa to kawałki, a problem polega na tym, jak dopasować je do siebie, aby stworzyć obraz.

Kato i Harada radzą sobie z tym problemem na dwa różne sposoby. Pierwszym z nich jest ocena, jak poszczególne wyrazy wizualne płynnie do siebie pasują obok innych wyrazów wizualnych. Na przykład wszystkie wizualne słowa opisujące krawędź kubka można połączyć, aby pokazać ciągłą krawędź.

Nie jest to proste, ponieważ wizualne słowa nie mają wyraźnego kształtu, a więc nie pasują do siebie jak kawałki układanki. Zamiast tego Kato i Harada mierzą relacje między słowami wizualnymi w dużej bazie danych obrazów, licząc wszystkie pary, które występują obok siebie. Daje to prawdopodobieństwo, że para wizualnych słów powinna znajdować się obok siebie

Druga metoda to ocena prawdopodobieństwa pojawienia się danego słowa wizualnego w określonej części obrazu. Na przykład słowo wizualne przedstawiające obszar nieba z większym prawdopodobieństwem znajduje się na górze obrazu.

Ponieważ same wizualne słowa nie zawierają tych informacji, Kato i Harada ponownie mierzą je w dużej bazie danych obrazów. Przypuszcza się, że każde wizualne słowo ma preferencję co do absolutnej pozycji, na której ma zostać umieszczone, jak mówią. Ta preferencja to zmierzona wartość pobrana z całej bazy danych.

Oczywiście te obliczenia są kosztowne obliczeniowo, w zależności od rozmiaru bazy danych i rozmiaru słów wizualnych.

Niemniej jednak Kato i Harada odnieśli znaczny sukces swoim podejściem. Tworzą bazę 101 obrazów, z których każdy przedstawia inny rodzaj obiektów. Zmieniają rozmiar każdego obrazu do 128 x 128 pikseli i zakładają, że każdy obraz składa się z wizualnych słów o rozmiarze 13 x 13 pikseli i że trzy czwarte każdego wizualnego słowa nakłada się na następne wizualne słowo.

Po utworzeniu bazy danych pokazującej rozkład statystyczny słów wizualnych, następnie wykorzystują te informacje do próby zrekonstruowania obrazu przy użyciu wyłącznie słów wizualnych, które się na nim pojawiają.

Wyniki są ogólnie imponujące. Podczas gdy niektóre z wygenerowanych obrazów są bezsensowne, inne z powodzeniem odtwarzają szeroką gamę obrazów, na przykład parasola, klucza, beczki, ryby, a nawet twarzy (patrz obrazy i ich rekonstrukcje powyżej).

To imponujące i prowadzi do wielu ciekawych zastosowań. Kato i Harada używają go na przykład do przekształcania jednego obrazu w drugi. Biorą torebkę wizualnych słów, która reprezentuje dwa obrazy, a następnie generują pośrednie torebki wizualnych słów, aby utworzyć pośrednie obrazy w sekwencji morfingu.

Bardziej interesująca jest ich praca nad wizją komputerową. Informatycy opracowali niedawno potężne algorytmy automatycznego rozpoznawania obiektów, które identyfikują określone obiekty.

Te algorytmy są znane jako klasyfikatory. Działają z dużą dokładnością, ale czasami mogą zostać oszukane przez obiekty, które dla ludzkiego oka wydają się łatwe do zidentyfikowania. Nie zawsze jest więc jasne, czego dokładnie szukają.

Praca Kato i Harady to zmienia. Wykorzystali swoją torbę wizualnych słów, aby zwizualizować te klasyfikatory obiektów. Mówią, że to ujawnia różnice między widzeniem ludzkim a widzeniem komputerowym.

Robią to, używając klasyfikatorów do badania 10 000 losowo wybranych obrazów i po prostu liczenia wizualnych słów, które najczęściej uruchamiają każdy klasyfikator. Następnie zestawiają te wizualne słowa w obraz, używając swojej torby z techniką wizualnych słów.

A wyniki są fascynujące. Niektóre z wizualizowanych klasyfikatorów są niezwykle podobne do samych obiektów, przynajmniej jeśli chodzi o ludzkie rozpoznawanie. Inne są dziwnie wypaczone, jak dzieła sztuki współczesnej. A inne pokazują, jak ważne mogą być dodatkowe elementy, na przykład, jak ważny jest horyzont dla identyfikacji drzew.

Wreszcie Kato i Harada wykorzystują swoje podejście do generowania obrazów ze zwykłych zdań. Robią to, przekształcając każde słowo w zdaniu w torbę słów wizualnych, a następnie przekształcając to w obraz.

Przekształcenie zwykłych słów w torbę wizualnych słów to trudne zadanie. Naukowcy robią to, przeszukując zbiór danych obrazów z podpisami. Za każdym razem, gdy słowo pojawia się w podpisie, dodają wizualne słowa z obrazka do torby. Tworzy to dużą torbę wizualnych słów, z których można wygenerować obraz.

Wyniki są fascynujące. Kato i Harada przyznają, że kilka zdań zostało przetłumaczonych na kompletnie bezsensowne obrazy. Dzieje się tak prawdopodobnie dlatego, że metoda zamiany słowa na torbę słów wizualnych jest zbyt prosta. Ale inne zdania tworzą obrazy jak ze snu, które są luźno związane z pierwotną ideą (patrz zdjęcia poniżej).

Kato i Harada twierdzą, że to obiecujący początek i otwiera drogę do nowej generacji systemów tworzenia obrazu.

To naprawdę fascynująca praca, która jest znaczącym krokiem naprzód w kreatywności obliczeniowej. Poproś Google o zdefiniowanie wyobraźni, a mówi tak: zdolność lub działanie tworzenia nowych idei, obrazów lub pojęć przedmiotów zewnętrznych, które nie są odczuwane przez zmysły . Nie jest więc przesadą stwierdzenie, że Kato i Harada stworzyli pierwszą na świecie wyobraźnię obliczeniową.

Nr ref.: http://arxiv.org/abs/1505.05190 : Rekonstrukcja obrazu z Bag-of-Visual-Words

ukryć