Google ujawnia sieć neuronową z nadludzką zdolnością do określania położenia prawie każdego obrazu

Oto trudne zadanie. Wybierz losowo zdjęcie z Internetu. Teraz spróbuj ustalić, gdzie zostało zrobione, korzystając tylko z samego obrazu. Jeśli obraz przedstawia słynny budynek lub punkt orientacyjny, taki jak Wieża Eiffla lub Wodospad Niagara, zadanie jest proste. Ale praca staje się znacznie trudniejsza, gdy zdjęcie nie ma konkretnych wskazówek dotyczących lokalizacji, jest wykonane w pomieszczeniu lub przedstawia zwierzaka, jedzenie lub inne szczegóły.

Niemniej jednak ludzie są w tym zaskakująco dobrzy. Aby pomóc, dostarczają one wszelkiego rodzaju wiedzy o świecie, takiej jak rodzaj i język wyświetlanych znaków, rodzaje roślinności, style architektoniczne, kierunek ruchu i tak dalej. Ludzie spędzają całe życie na zbieraniu tego rodzaju wskazówek geolokalizacyjnych.

Łatwo więc pomyśleć, że maszyny miałyby problemy z tym zadaniem. I rzeczywiście, mają.

Dziś to się zmienia dzięki pracy Tobiasa Weyanda, specjalisty od wizji komputerowej w Google, i kilku kumpli. Ci faceci wyszkolili maszynę do głębokiego uczenia się, aby ustalić lokalizację prawie każdego zdjęcia, używając tylko zawartych w nim pikseli.

Ich nowa maszyna znacznie przewyższa ludzi i może nawet użyć sprytnej sztuczki, aby określić lokalizację obrazów w pomieszczeniach i zdjęć konkretnych rzeczy, takich jak zwierzęta domowe, jedzenie itp., które nie mają wskazówek dotyczących lokalizacji.

Ich podejście jest proste, przynajmniej w świecie uczenia maszynowego. Weyand i spółka zaczynają od podzielenia świata na siatkę składającą się z ponad 26 000 kwadratów o różnej wielkości, które zależą od liczby zdjęć zrobionych w tym miejscu.

Tak więc duże miasta, które są przedmiotem wielu zdjęć, mają bardziej drobnoziarnistą strukturę siatki niż bardziej odległe regiony, w których fotografie są mniej powszechne. Rzeczywiście, zespół Google zignorował obszary takie jak oceany i regiony polarne, gdzie zrobiono niewiele zdjęć.

Następnie zespół utworzył bazę danych z geolokalizowanymi obrazami z sieci i wykorzystał dane lokalizacyjne do określenia kwadratu siatki, w którym wykonano każde zdjęcie. Ten zestaw danych jest ogromny i składa się ze 126 milionów obrazów wraz z towarzyszącymi im danymi lokalizacji Exif.

Weyand i spółka wykorzystali 91 milionów tych obrazów, aby nauczyć potężną sieć neuronową, jak ustalić położenie siatki, używając tylko samego obrazu. Ich pomysł polega na tym, aby wprowadzić obraz do tej sieci neuronowej i uzyskać jako wynik określoną lokalizację siatki lub zestaw prawdopodobnych kandydatów.

Następnie zweryfikowali sieć neuronową, korzystając z pozostałych 34 milionów obrazów w zestawie danych. Na koniec przetestowali sieć — którą nazywają PlaNet — na wiele różnych sposobów, aby zobaczyć, jak dobrze działa.

Wyniki stanowią ciekawą lekturę. Aby zmierzyć dokładność swojej maszyny, przesłali jej 2,3 miliona zdjęć ze znacznikami geograficznymi z serwisu Flickr, aby sprawdzić, czy może poprawnie określić ich lokalizację. PlaNet jest w stanie zlokalizować 3,6 procent obrazów z dokładnością do ulicy i 10,1 procent z dokładnością na poziomie miasta, mówią Weyand i spółka. Co więcej, na kolejnych 28,4 proc. zdjęć maszyna określa kraj pochodzenia, a na 48,0 proc. kontynent.

To całkiem nieźle. Ale żeby pokazać, jak dobry, Weyand i spółka poddali PlaNet próbie w teście przeciwko 10 dobrze podróżującym ludziom. Do testu wykorzystali grę online, która przedstawia graczowi losowy widok zaczerpnięty z Google Street View i prosi go o wskazanie jego lokalizacji na mapie świata.

Każdy może grać w www.geoguessr.com . Spróbuj — to dużo zabawy i trudniejsze, niż się wydaje.

Nie trzeba dodawać, że PlaNet pokonał ludzi. W sumie PlaNet wygrał 28 z 50 rund z medianą błędu lokalizacji 1111,7 km, podczas gdy mediana błędu lokalizacji przez człowieka wyniosła 2320,75 km, mówią Weyand i spółka. [Ten] eksperyment na małą skalę pokazuje, że PlaNet osiąga nadludzką wydajność w zadaniu geolokalizacji scen Street View.

Ciekawym pytaniem jest, jak PlaNet działa tak dobrze, nie będąc w stanie wykorzystać wskazówek, na których polegają ludzie, takich jak roślinność, styl architektoniczny i tak dalej. Ale Weyand i wsp. mówią, że wiedzą, dlaczego: „Uważamy, że PlaNet ma przewagę nad ludźmi, ponieważ widział o wiele więcej miejsc, niż jakikolwiek człowiek może kiedykolwiek odwiedzić, i nauczył się subtelnych wskazówek z różnych scen, które są nawet trudne do zobaczenia dla człowieka, który dużo podróżuje. wyróżnić.

Idą dalej i używają maszyny do lokalizowania obrazów, które nie mają wskazówek dotyczących lokalizacji, takich jak te zrobione w pomieszczeniach lub konkretnych przedmiotów. Jest to możliwe, gdy zdjęcia są częścią albumów, które zostały zrobione w tym samym miejscu. Maszyna po prostu przegląda inne zdjęcia w albumie, aby ustalić, gdzie zostały zrobione, i zakłada, że ​​bardziej szczegółowe zdjęcie zostało zrobione w tym samym miejscu.

To imponująca praca, która pokazuje głębokie sieci neuronowe ponownie napinające mięśnie. Być może jeszcze bardziej imponujące jest to, że model wykorzystuje stosunkowo niewielką ilość pamięci, w przeciwieństwie do innych podejść, które wykorzystują gigabajty tego materiału. Nasz model wykorzystuje tylko 377 MB, co mieści się nawet w pamięci smartfona, powiedzmy Weyand i spółka.

To kuszący pomysł — moc nadludzkiej sieci neuronowej w smartfonie. To już na pewno nie potrwa długo!

Nr ref.: arxiv.org/abs/1602.05314 : PlaNet — Geolokalizacja zdjęć za pomocą splotowych sieci neuronowych

ukryć