211service.com
Oprogramowanie inspirowane mózgiem Google opisuje, co widzi w złożonych obrazach
Naukowcy z Google stworzyli oprogramowanie które potrafią używać pełnych zdań do dokładnego opisywania scen przedstawionych na zdjęciach — to znaczący postęp w dziedzinie widzenia komputerowego. Gdy pokazano na przykład zdjęcie z gry we frisbee, oprogramowanie odpowiedziało opisem Grupa młodych ludzi grających we frisbee. Oprogramowanie może nawet liczyć, podając odpowiedzi, takie jak Dwie pizze na kuchence.
Eksperymentalne oprogramowanie od Google może dokładnie opisywać sceny na zdjęciach, tak jak dwa po lewej. Ale nadal popełnia błędy, co widać na dwóch zdjęciach po prawej stronie.
Wcześniej większość wysiłków zmierzających do stworzenia oprogramowania rozumiejącego obrazy koncentrowała się na łatwiejszym zadaniu identyfikacji pojedynczych obiektów.
To bardzo ekscytujące, mówi Winyle Oriol , naukowiec w Google. Jestem pewien, że wyjdą z tego pewne potencjalne zastosowania.
Nowe oprogramowanie jest najnowszym produktem badań Google nad wykorzystaniem dużych zbiorów symulowanych neuronów do przetwarzania danych (patrz 10 Breakthrough Technologies 2013: Deep Learning ). Nikt w Google nie zaprogramował nowego oprogramowania z zasadami interpretacji scen. Zamiast tego jego sieci uczyły się, konsumując dane. Choć na razie jest to tylko projekt badawczy, mówi Vinyals, on i inni w Google zaczęli już zastanawiać się, jak można by go wykorzystać do ulepszenia wyszukiwania obrazów lub ułatwienia osobom niedowidzącym nawigacji w Internecie lub w świecie rzeczywistym.
Naukowcy z Google stworzyli oprogramowanie poprzez rodzaj cyfrowej operacji mózgu, łącząc ze sobą dwie sieci neuronowe opracowane osobno do różnych zadań. Jedna sieć została przeszkolona do przetwarzania obrazów na matematyczną reprezentację ich zawartości, w ramach przygotowań do identyfikacji obiektów. Drugi został przeszkolony w generowaniu pełnych angielskich zdań w ramach oprogramowania do automatycznego tłumaczenia.
Kiedy sieci są połączone, pierwsza może spojrzeć na obraz, a następnie wprowadzić matematyczny opis tego, co widzi, do drugiej, która wykorzystuje te informacje do wygenerowania zdania czytelnego dla człowieka. Połączona sieć została przeszkolona, aby generować dokładniejsze opisy, pokazując jej dziesiątki tysięcy obrazów z opisami napisanymi przez ludzi. Widzimy poprzez język, co myślał, że obraz był, mówi Vinyals.
Po tym procesie uczenia oprogramowanie zostało swobodne na kilku dużych zestawach danych obrazów z Flickr i innych źródeł i poproszono o ich opisanie. Dokładność jego opisów została następnie oceniona za pomocą zautomatyzowanego testu używanego do porównania oprogramowania komputerowego. Oprogramowanie Google opublikowało wyniki w latach 60. w 100-punktowej skali. Ludzie wykonujący test zazwyczaj zdobywają punkty w latach 70., mówi Vinyals.
Wynik ten sugeruje, że Google znacznie wyprzedza innych badaczy pracujących nad stworzeniem oprogramowania do opisywania scen. Badacze Stanford niedawno opublikowane szczegóły własnego systemu i poinformował, że uzyskał wynik od 40 do 50 w tym samym standardowym teście.
Jednak Vinyals zauważa, że naukowcy z Google i innych krajów wciąż są na wczesnym etapie zrozumienia, jak tworzyć i testować tego rodzaju oprogramowanie. Kiedy Google poprosił ludzi o ocenę opisów obrazów w swoim oprogramowaniu w skali od 1 do 4, średnia wynosiła tylko 2,5, co sugeruje, że wciąż ma przed sobą długą drogę.
Vinyals przewiduje, że badania nad rozumieniem i opisywaniem scen będą się teraz zintensyfikować. Jeden problem, który może spowolnić działanie: chociaż stworzono duże bazy danych z ręcznie etykietowanymi obrazami, aby wyszkolić oprogramowanie do rozpoznawania poszczególnych obiektów, jest mniej zdjęć z etykietami przedstawiających bardziej naturalne sceny.
Microsoft uruchomił w tym roku bazę danych o nazwie ORZECH KOKOSOWY by spróbować to naprawić. Google wykorzystało COCO w swoich nowych badaniach, ale wciąż jest ono stosunkowo niewielkie. Mam nadzieję, że inne partie się przyłączą i sprawią, że będzie lepiej, mówi Vinyals.