Sieć neuronowa startupu może zrozumieć wideo

W ostatnich latach badacze z firm, w tym Google i Facebook, dokonali imponujących przełomów w oprogramowaniu szkoleniowym, aby zrozumieć, co dzieje się na obrazach, dzięki technice znanej jako głębokie uczenie się. Teraz startup o nazwie Clarifai oferuje usługę, która wykorzystuje głębokie uczenie się do zrozumienia wideo.





Oprogramowanie do przetwarzania wideo Clarifai może identyfikować obiekty i sceny w wideo i zapewnia oś czasu, dzięki czemu możesz przeskoczyć do miejsca, w którym pojawia się określony element.

Firma twierdzi, że jej oprogramowanie może szybko analizować klipy wideo, aby rozpoznać 10 000 różnych obiektów lub rodzajów scen. W demo wygłoszonym w zeszłym tygodniu o konferencja na temat głębokiego uczenia się , współzałożyciel i dyrektor generalny Clarifai, Matthew Zeiler, przesłał klip, który zawierał ujęcia zróżnicowanego krajobrazu alpejskiego. Oprogramowanie utworzyło oś czasu z liniami wykresu podsumowującymi, kiedy wykryto różne obiekty lub typy scen. Pokazywało dokładnie, kiedy śnieg i góry pojawiły się pojedynczo i razem. Oprogramowanie może analizować wideo szybciej niż człowiek może je obejrzeć; podczas demonstracji 3,5-minutowy klip został przetworzony w zaledwie 10 sekund.

Clarifai oferuje tę technologię jako usługę i oczekuje, że będzie ona wykorzystywana do takich celów, jak dopasowywanie reklam do treści w filmach online lub opracowywanie nowych sposobów organizowania kolekcji filmów i edytowania materiału filmowego.



Głębokie uczenie obejmuje przetwarzanie danych przez sieć prostych symulowanych neuronów, które zostały wytrenowane przy użyciu przykładowych danych. Technologia Clarifai powstała w badaniach na Uniwersytecie Nowojorskim, a w 2013 roku firma przejęła pięć najlepszych miejsc w wiodącym corocznym konkursie oprogramowania identyfikującego zawartość obrazów.

Większość badań w tej dziedzinie do tej pory skupiała się na nieruchomych obrazach, a nie na wideo. Clarifai uruchomił w zeszłym roku usługę rozpoznawania nieruchomych obrazów. Kolejny startup wykorzystujący deep learning, Po prawej , uruchomiła pod koniec grudnia własną usługę przetwarzania wideo.

Każdy może przetestować nowy system wideo Clarifai. Na jego stronie internetowej możesz przesłać do analizy klip wideo o rozmiarze do 10 megabajtów. Różne wykryte obiekty lub typy scen mogą obejmować samochody, drzewa lub ludzi. Oprogramowanie może również stosować bardziej abstrakcyjne pojęcia opisowe, takie jak zabawa lub wspólnota.



Zeiler wierzy, że jego technologia może doprowadzić do nowego podejścia do wyświetlania reklam obok filmów online. Powiedział, że oprogramowanie może określić, gdzie w filmie jest optymalne miejsce na umieszczenie reklamy.

Firmy mogą już płacić za umieszczanie swoich reklam obok filmów określonego typu lub o określonej tematyce. Zeiler uważa, że ​​możliwość automatycznego dopasowywania reklam do konkretnych momentów w filmach powinna być jeszcze bardziej atrakcyjna dla reklamodawców. Technologia Clarifai może na przykład umożliwić Starbucks wyświetlanie swoich reklam za każdym razem, gdy w filmie pije się kawę.

Zeiler mówi, że współpracuje już z firmami zainteresowanymi wykorzystaniem technologii analizy wideo. Firma pracuje również nad zwiększeniem możliwości oprogramowania. Dwie opracowywane funkcje pozwolą oprogramowaniu automatycznie podsumowywać, co dzieje się w filmie i rozpoznawać, kiedy miało miejsce określone działanie, mówi Zeiler.



ukryć