100 milionów zdjęć na Instagramie ujawnia globalne wzory odzieży

Wyobraź sobie przyszłego antropologa z dostępem do bilionów zdjęć ludzi — robionych na przestrzeni wieków na całym świecie — i wyposażonego w skuteczne narzędzia do analizowania tych zdjęć w celu uzyskania spostrzeżeń. Na jakie nowe pytania można odpowiedzieć?

To marzenie, które zainspirowało Kevina Matzena, Kavitę Balę i Noah Snavely z Cornell University w Ithaca w stanie Nowy Jork.

Uważają, że miliony zdjęć przesyłanych każdego dnia do mediów społecznościowych dostarczają fascynującego wglądu w czynniki kulturowe, społeczne i ekonomiczne, które kształtują społeczeństwa na całym świecie. Mówią, że przy wystarczająco potężnej inteligencji maszynowej powinno być możliwe wydobycie tego macierzystego pokładu danych w celu uzyskania głębokiego wglądu w naszą cywilizację.

Algorytm pokazuje, jak style ubioru zmieniają się w czasie

Traf chciał, że ten rodzaj inteligencji maszynowej pojawia się obecnie z zawrotną prędkością. Matzen i spółka zajęli się badaniem 100 milionów zdjęć opublikowanych na Instagramie.

Pytanie, na które ci faceci chcą odpowiedzieć, brzmiało, jak style ubioru różnią się na całym świecie, co jest zjawiskiem kulturowym, które trudno zbadać na taką skalę.

Na przykład ich podejście może odpowiedzieć na takie pytania, jak częstotliwość używania szalików w Stanach Zjednoczonych w czasie, jakie style są najbardziej specyficzne dla poszczególnych regionów lub miast i odwrotnie, które style są popularne na całym świecie.

Aby się tego dowiedzieć, Matzen i spółka zwrócili się do Instagrama, który pozwolił im pobrać obrazy w promieniu pięciu kilometrów od określonej lokalizacji i w ciągu pięciu dni od określonej daty.

Następnie zespół zidentyfikował 44 miasta do zbadania i pobrał w sumie 100 milionów zdjęć z tych lokalizacji w pięciodniowych oknach między czerwcem 2013 a czerwcem 2016 roku.

Użyli standardowego programu do rozpoznawania twarzy, aby odfiltrować wszystkie zdjęcia, które nie zawierały twarzy, a także przefiltrowali widoczny tułów, pozostawiając zestaw 15 milionów zdjęć ludzi pokazujących górną połowę ich ciała wraz z ich lokalizacją i datę.

Następnie wyszkolili algorytm uczenia maszynowego do rozpoznawania na obrazach różnych rodzajów odzieży i akcesoriów. Na przykład algorytm nauczył się rozpoznawać, czy ludzie mają na sobie kurtkę, szalik, krawat, okulary, czapkę i tak dalej. Algorytm może również rozpoznawać kolory, fasony dekoltu i długość rękawów; kategorie odzieży, takie jak T-shirt, sukienka lub podkoszulek; i wzory odzieży, takie jak solidne, w paski, w kratę i tak dalej.

Wreszcie pozwolili maszynie stracić na 15 milionach zdjęć w swoim zestawie danych, a następnie użyli innego algorytmu do wyszukiwania klastrów obrazów o podobnych motywach wizualnych i śledzenia, jak zmieniały się one w czasie i w zależności od lokalizacji.

Wyniki stanowią ciekawą lekturę. Algorytm grupowania znalazł około 400 różnych motywów wizualnych, takich jak ludzie noszący białe T-shirty i okulary lub noszący czerwone topy z dekoltem w szpic lub czarne sukienki lub w ogóle nie noszący koszulek!

Matzen i spółka mogą następnie zbadać, jak te motywy wizualne różnią się w zależności od czasu i miejsca. Odkryli na przykład, że niektóre kolory zmieniają się okresowo, przy czym czarny i brązowy częściej występują zimą, a biały i niebieski latem.

Inne kolory pokazują różne wzory. Na przykład spada popularność czerwieni. I chociaż jest znacznie mniej okresowy niż czarny lub biały, od czasu do czasu staje się nagle popularny. Matzen i spółka wskazują na niewielkie wzrosty popularności pod koniec października i grudnia: innymi słowy na Halloween i Boże Narodzenie. To, co się wyróżniało, to duży asortyment czapek Mikołajów, a także nieoczekiwany asortyment czerwonych kostiumów na Halloween z czerwonymi czapkami lub kapturami, jak mówią.

Odkryli również nagły wzrost popularności żółtych koszulek w Kolumbii i Brazylii podczas Mistrzostw Świata w Piłce Nożnej w czerwcu/lipcu 2014 r. – drużyny obu krajów noszą żółte koszulki.

Zauważyli też różne trendy geograficzne. Kraje położone dalej na północ mają zwykle więcej kurtek, jak mówią, prawdopodobnie dlatego, że jest chłodniej.

Noszenie kapelusza jest również bardziej popularne w chłodniejszych krajach. Ale co ciekawe, Oman na Bliskim Wschodzie okazuje się być jedną z noszących kapelusze stolic świata. W szczególności kuma i massar są popularne w Omanie, ponieważ są ważnym elementem męskiego stroju narodowego, mówią Matzen i spółka.

Niektóre ubrania są unikalne dla konkretnych miejsc: gele, nigeryjski krawat, jest bardzo charakterystyczny dla Lagos. Inne style są powszechne na całym świecie i przez cały rok, w tym koszule z niebieskim kołnierzykiem, koszule w kratę i czarne T-shirty.

To interesująca praca, która ujawnia potencjał uczenia maszynowego w rozdzieraniu tkanki kulturowej naszego społeczeństwa.

Oczywiście takie podejście nie jest idealne. Algorytm nie nauczył się rozróżniać okularów przeciwsłonecznych od okularów korekcyjnych, które pełnią różne role w społeczeństwie. Obrazy raczej nie będą reprezentatywne dla społeczeństwa jako całości, ponieważ użytkownicy Instagrama są silnie przekrzywieni w kierunku młodszej grupy demograficznej. Technika ta dotyczy tylko górnej części ciała, ponieważ na zdjęciach online często przycina się nogi.

Istnieje jednak znaczny potencjał, aby naprawić te niedociągnięcia w przyszłych pracach i pójść dalej. Ciągłym wyzwaniem w dziedzinie widzenia maszynowego jest ustalenie, czy ludzie stoją, siedzą lub co robią ogólnie. Byłoby również możliwe połączenie tego zestawu danych z innymi, takimi jak dane pogodowe i temperatury.

Jak podsumowują Matzen i wsp.: Połączenie dużych zbiorów danych, uczenia maszynowego, wizji komputerowej i algorytmów automatycznej analizy stworzyłoby bardzo potężne narzędzie analityczne do szerszego wizualnego odkrywania mody i wielu innych dziedzin”.

Oczywiście nie musimy czekać na antropologów przyszłości.

Nr ref.: arxiv.org/abs/1706.01869 :StreetStyle: odkrywanie światowych stylów odzieży na podstawie milionów zdjęć

ukryć