Oprogramowanie uczy się tagować zdjęcia

Amerykańscy naukowcy wydali nowy program online do automatycznego tagowania obrazów zgodnie z ich treścią. W swoim pierwszym teście w świecie rzeczywistym program przetworzył tysiące publicznie dostępnych obrazów dostępnych w witrynie do udostępniania zdjęć Flickr . Co najmniej jeden dokładny znacznik został wygenerowany dla 98% wszystkich analizowanych zdjęć.

Nowe oprogramowanie o nazwie ALIPR (Automatic Linguistic Indexing of Pictures) wykorzystuje kombinację technik statystycznych do przetwarzania obrazu i przypisywania mu partii 15 słów, ułożonych w kolejności postrzeganej trafności. Słowa te mogą odnosić się do konkretnego obiektu na zdjęciu, takiego jak osoba lub samochód, lub do bardziej ogólnego tematu, takiego jak plener lub dzieło człowieka.

Dla ludzi rozszyfrowanie obrazu jest zwodniczo proste. A jednak dla komputerów, które potrafią sortować miliony dokumentów tekstowych z zawrotną szybkością i dokładnością, identyfikacja treści obrazu pozostaje diabelnie trudnym zadaniem.

Rozpoznanie semantycznego znaczenia obrazu jest jednym z najtrudniejszych problemów w sztucznej inteligencji, mówi Jia Li, matematyk z Pennsylvania State University w State College, który stworzył oprogramowanie wraz z kolegą Jamesem Wangiem, członkiem College of Information Sciences i Technologia. Obiekty w prawdziwym świecie są trójwymiarowe, wyjaśnia Li. Gdy pojawiają się na obrazie, mogą się znacznie różnić kolorem, kształtem, gestem, rozmiarem i położeniem, a komputer zwykle nie ma wcześniejszej wiedzy o tych odmianach.

Ponieważ kompleksowe rozumienie świata pozostaje poza możliwościami komputerów, potrzebne są wydajniejsze algorytmy przetwarzania obrazu, które pomogą im naśladować ludzki wzrok i inteligencję.

ALIPR analizuje obraz piksel po pikselu i stosuje nowatorską metodę statystyczną w celu obliczenia prawdopodobieństwa, że ​​dane słowo może opisywać jego treść. Wiąże się to z badaniem rozkładu koloru i tekstury na obrazie oraz porównaniem tych cech z przechowywaną bazą danych słów i obrazów. Li i Wang nauczyli swój program, korzystając z komercyjnej bazy danych zawierającej około 50 000 zdjęć, które zostały już otagowane.

Niedawno przetestowali ALIPR na 5411 wcześniej niewidocznych obrazach dostępnych na popularnym serwisie do udostępniania zdjęć Flickr. W przypadku 51 procent tych obrazów pierwsze słowo wygenerowane przez ALIPR pojawiło się w tagach użytkowników. Program generował również co najmniej jedno dokładne słowo w 98 procentach przypadków. Badacze wykorzystali obrazy udostępnione publicznie przez użytkowników Flickr, które były również otwarcie dostępne za pośrednictwem własnego interfejsu programowania aplikacji Flickr.

Lepsze oprogramowanie do rozpoznawania obrazów może mieć wiele zastosowań, mówi Li. Może na przykład ulepszać wyszukiwarki internetowe lub automatycznie oznaczać kolekcje obrazów cyfrowych. Li wierzy, że może to również pomóc naukowcom w sortowaniu dużych ilości informacji wizualnych: klasyfikacja obrazów jest czasami potrzebna w badaniach naukowych. Bez pomocy komputera naukowcy muszą ręcznie klasyfikować obrazy, a proces ten może być powolny i pozostawać w tyle za wysoką przepustowością nowych obrazów.

Być może leżące u ich podstaw algorytmy mogłyby być przydatne do różnych innych trudnych zadań obliczeniowych. Podobne podejście można zastosować do analizy wideo i ewentualnie innych problemów, dodaje Li.

Ludwik von Ahn , adiunkt informatyki na Carnegie Mellon University w Pittsburghu, PA, mówi, że badania są krokiem we właściwym kierunku, ale należy poprawić wskaźnik dokładności oprogramowania. Zauważa, że ​​obrazy w witrynach takich jak Flickr często zawierają bardzo podobne materiały. Prawda jest taka, że ​​te obrazy w dużej mierze dotyczą tego samego – ludzie w większości robią zdjęcia innym ludziom, mówi. Tak więc samo użycie słowa „ludzie” już poprawnie oznacza duży procent obrazów.

Von Ahn uważa również, że ludzie mogą odgrywać większą rolę w szkoleniu algorytmów rozpoznawania wzroku. Prowadzi witrynę o nazwie Peekaboom która zmienia tagowanie obrazów w grę dla dwóch graczy online. Ponieważ obraz jest powoli odsłaniany, każdy gracz musi ścigać się, aby znaleźć dla niego odpowiedni tag. Pomaga to w szkoleniu oprogramowania von Ahna w identyfikowaniu obrazów, skupiając się na kluczowych fragmentach. Do tej pory około 100 000 pojedynczych zdjęć zostało sklasyfikowanych za pomocą Peekaboom, mówi von Ahn.

Aleksander Berg , ekspert ds. wizji komputerowej z Uniwersytetu Kalifornijskiego w Berkley, zgadza się, że ludzie mogą pomóc komputerom lepiej zrozumieć złożone dane. Sugeruje, że tagi, które pojawiają się na stronach takich jak Flickr i YouTube, a także na wielu blogach i serwisach informacyjnych, mogą w przyszłości okazać się kluczowe dla tego przedsięwzięcia. Ogólnie rzecz biorąc, wyszukiwanie obrazów i wideo to obszar, w którym należy dokonać znacznych postępów, mówi Berg. Coraz więcej danych jest dostępnych online z pewną ilością oznakowania ludzkiego.

To pomysł, który jest mile widziany przez Li: im bardziej wiarygodne dane możemy uzyskać i wykorzystać, tym lepiej.

ukryć