Algorytm Yahoo Labs identyfikuje kreatywność w 6-sekundowych filmach wideo

W styczniu 2013 r. w cyberprzestrzeń nagle pojawiła się usługa udostępniania wideo o nazwie Vine. Usługa, której właścicielem jest Twitter, była wyjątkowa, ponieważ użytkownicy mogli nagrywać i udostępniać filmy, które nie trwały dłużej niż sześć sekund. Ale w ciągu kilku miesięcy stała się najpopularniejszą aplikacją do udostępniania wideo w sieci i najczęściej pobieraną darmową aplikacją w sklepie Apple.

Ograniczenie czasowe miało interesujący wpływ na proces twórczy: zmusiło użytkowników do opowiedzenia swoich historii w zaledwie sześć sekund. To z kolei doprowadziło do powstania zupełnie nowego gatunku filmowego, który ma teraz swoją własną, szóstą drugą kategorię filmową na Tribeca Film Festival w Nowym Jorku.

Niezwykły sukces sześciu sekundowych filmów daje ciekawą okazję. Ponieważ filmy są tak krótkie, można je stosunkowo łatwo przeanalizować za pomocą algorytmów widzenia maszynowego i technik analizy dźwięku. I to rodzi interesujące pytanie. Czy te zautomatyzowane techniki potrafią odróżnić sześciosekundowe filmy, które ludzie uważają za kreatywne, od tych, które nie są kreatywne.

Dzisiaj otrzymujemy odpowiedź dzięki pracy Miriam Redi z Yahoo Labs w Barcelonie w Hiszpanii i kilku kumplom, którzy wykorzystali techniki crowdsourcingowe i algorytmy maszynowe do przeanalizowania około 4000 sześciosekundowych filmów z streamline Vine. Ich wyniki sugerują, że maszyny mogą całkiem nieźle rozróżniać treści kreatywne i nietwórcze — przynajmniej w gatunku sześciosekundowym.

Zespół rozpoczął od zestawu danych skompilowanego, wybierając 1000 filmów, które już zostały wyróżnione jako kreatywne. Wybrali kolejne 200 filmów z artykułów online o kreatywności Vine i przeszukali treści stworzone przez autorów tych treści, aby znaleźć kolejne 2300 filmów. W końcu wybrali losowo kolejne 500 filmów ze strumienia Vine.

Kolejnym zadaniem było ustalenie, które z tych filmów były kreatywne, a które nie. Aby się tego dowiedzieć, poprosili około 300 wolontariuszy z crowdsourcingu, aby obejrzeli filmy i odpowiedzieli na pytanie, czy ten film jest kreatywny? z możliwymi odpowiedziami pozytywnymi, negatywnymi lub nie wiem. Każdy film został oceniony przez pięciu różnych wolontariuszy.

Pracownicy ci uzyskali zaskakująco spójne wyniki. Byli w 100 procentach zgodni co do 48 procent filmów. Innymi słowy, wszystkich pięciu oceniających przyznało ten sam wynik prawie połowie filmów. Spośród nich zgodzili się, że 25 procent było kreatywnych. Aby spojrzeć na to z innej perspektywy, wolontariusze zidentyfikowali tylko 1,9% z 500 losowo wybranych filmów jako kreatywne, co daje wskaźnik kreatywności w tle.

Następnie przeanalizowali każdy film za pomocą różnych algorytmów. Na przykład szukali cech kompozycyjnych, takich jak zasada trójpodziału i płytka głębia ostrości. Wykorzystali algorytm do analizy treści scen wideo, który bada kontury i układ na obrazie. Szukali również jakichkolwiek dowodów na to, że filmy były animacją poklatkową lub zostały zaprojektowane tak, aby działały w pozornie nieskończonej pętli, szukając podobieństw między pierwszą a ostatnią klatką. Ocenili nowość każdego filmu, porównując jego właściwości z losowo wybraną grupą innych.

Następnie szukali korelacji między funkcjami znalezionymi przez algorytmy maszynowe a filmami zidentyfikowanymi jako kreatywne przez ochotników. Okazuje się, że treść sceny jest najsilniej skorelowana z kreatywnością, następnie z cechami kompozycyjnymi i nowatorstwem wideo.

W ostatnim kroku wytrenowali algorytm uczenia maszynowego, aby używał tych funkcji do wyszukiwania kreatywnych filmów w zbiorze danych, którego wcześniej nie widzieli. Algorytm ten był w stanie prawidłowo zaklasyfikować filmy jako kreatywne lub nietwórcze w 80 procentach przypadków.

To interesujący wynik, który otwiera możliwość automatycznego filtrowania transmisji na żywo Vine pod kątem najbardziej kreatywnych treści. To pozwala nam badać kreatywność audiowizualną na drobnym poziomie, pomagając nam zrozumieć, co dokładnie stanowi kreatywność w mikrofilmach, mówią Redi i spółka.

A jeśli algorytm jest w stanie dokładnie zidentyfikować kreatywność, dlaczego komputer nie miałby generować kreatywnych treści? W rzeczywistości dostrzeżenie różnicy między kreatywnością stworzoną przez człowieka a kreatywnością generowaną komputerowo może pewnego dnia być interesującym ćwiczeniem w stylu testu Turinga.

Nr ref.: arxiv.org/abs/1411.4080

ukryć