Sztuczna inteligencja Twittera wie, co się dzieje w klipach wideo na żywo

W tej chwili ktoś gdzieś transmituje na żywo coś interesującego. Dzięki technologii opracowanej przez zespół badaczy sztucznej inteligencji na Twitterze możesz wkrótce ją znaleźć.

Transmisje na żywo stają się coraz bardziej popularne dzięki aplikacjom na smartfony, takim jak Peryskop z Twittera, Surykatka , a ostatnio Facebook na żywo . Ale treści wideo na żywo zwykle nie są dobrze oznakowane ani skategoryzowane, często dlatego, że ludzie nie wiedzą, co nagrają, dopóki kamera nie zacznie się toczyć.

Zespół AI Twittera, znany jako Kora , opracował algorytm, który może natychmiast rozpoznać, co się dzieje w transmisji na żywo. Algorytm może na przykład stwierdzić, czy gwiazda klipu gra na gitarze, demonstruje elektronarzędzie, czy w rzeczywistości jest kotem wbijającym się w to widzom.

Treść stale się zmienia w Periscope, a bardziej ogólnie w filmach na żywo, mówi Clement Farabet, który jest liderem technologicznym w Cortex. Farabet zademonstrował technologię rozpoznawania wideo, aby: Przegląd technologii MIT, pokazuje ekran z około dwoma tuzinami kanałów Periscope, z których wszystkie są oznaczane w czasie rzeczywistym.

Identyfikacja treści wideo na żywo to dość imponująca sztuczka. W ostatnich latach naukowcy poczynili imponujące postępy w zakresie algorytmów, które mogą identyfikować obiekty na zdjęciach, ale znacznie trudniej jest to zrobić z wideo na żywo o różnej jakości. Aby zrobić to natychmiast, potrzeba też sporej mocy obliczeniowej. Twitter skutecznie zbudował niestandardowy superkomputer zbudowany w całości z procesorów graficznych (GPU) do przeprowadzania klasyfikacji wideo i wyświetlania wyników. Te chipy są szczególnie wydajne w obliczeniach matematycznych wymaganych do głębokiego uczenia się, ale zwykle stanowią tylko część większego systemu komputerowego.

To nie lada wyzwanie nawet w przypadku statycznych filmów, a w przypadku filmów w trybie runtime muszą one mieć dużą moc obliczeniową, mówi Piotr Brusiłowski , profesor Uniwersytetu w Pittsburghu, zajmujący się personalizacją treści.

Brusilovsky mówi, że bardzo potrzebne są lepsze sposoby filtrowania wideo. Mówi, że filmów na ogół nie można przeglądać. W związku z tym bardzo ważna jest rekomendacja. To rodzaj brakującego fragmentu wideo.

Polecanie filmów zwykle obejmuje pokazywanie osobie klipów, które obejrzała osoba, która wydaje się mieć podobny gust (podejście znane jako filtrowanie zespołowe). Jest to jednak prymitywna miara rzeczywistego zainteresowania i nie działa w przypadku treści nadawanych na żywo.

Zespół Cortex ma ambicje opracować zaawansowany system rekomendacji, który pomoże filtrować i nadzorować wszelkiego rodzaju treści udostępniane za pośrednictwem usługi na podstawie wcześniejszej aktywności użytkownika.

Technologia rozpoznawania wideo opracowana przez zespół Cortex nie znalazła się jeszcze w żadnym z produktów Twittera, ale jest testowana w Periscope, aplikacji należącej do Twittera, która umożliwia użytkownikom przesyłanie wideo na żywo ze smartfonów. Zespół stosuje podejście znane jako głębokie uczenie się, aby rozpoznać aktywność w klipach. Głębokie uczenie obejmuje trenowanie dużej symulowanej sieci neuronowej w celu rozpoznawania danych wejściowych z dużej liczby przykładów. Przykłady są dostarczane przez pracowników opłacanych za oglądanie filmów i dodawanie słów kluczowych. Ten proces tagowania zapewnia dość złożone semantyczne rozumienie klipów wideo. Na przykład wideo przedstawiające kota może być podzielone na kategorie nie tylko z kotem, ale także ze zwierzęciem, kotem, ssakiem i nie tylko. Zapewnia to bardziej wyrafinowany sposób przeglądania klipów.

Wideo na żywo szybko staje się ważną częścią krajobrazu mediów społecznościowych.

Twitter nabył Periscope w styczniu 2015 roku, jeszcze przed uruchomieniem aplikacji, za kwotę przekraczającą podobno 50 milionów dolarów. Nastąpiło to po przełomowym sukcesie Meerkat, kolejnej aplikacji powiązanej z Twitterem. Facebook uruchomił własną usługę wideo na żywo wcześniej w 2015 roku, a firma zwiększyła znaczenie tej funkcji na początku tego miesiąca, dodając ją do strony głównej, którą widzi każdy użytkownik.

Na razie nie ma planów zarabiania na technologii, a Periscope nie oferuje obecnie reklam. Ale nietrudno sobie wyobrazić, jak takie narzędzie może być przydatne w reklamie, dzięki algorytmicznemu dopasowywaniu reklam do treści filmów w trakcie ich filmowania i emisji. Ponieważ coraz więcej filmów wideo przenosi się do Internetu, algorytm może pomóc Twitterowi w znacznie efektywniejszym dostosowywaniu reklam do takich treści. Warto zauważyć, że w tym miesiącu firma zdobyła prawo do transmisji na żywo niektórych materiałów NFL.

Ben Edelman , profesor nadzwyczajny w Harvard's Berkman Center i ekspert ds. mediów internetowych i reklamy, twierdzi, że technika opracowana przez Twittera może okazać się ważna dla filtrowania treści chronionych prawem autorskim, a także treści niepożądanych, takich jak pornografia czy przemoc.

Ale Farabet jest równie zainteresowany znajdowaniem rzeczy, które ludzie chcą zobaczyć. Umiejętność prawdziwego zrozumienia tego, czym jesteś zainteresowany – całkowicie niezależnie od tego, kto to wyprodukował i kiedy to zostało wyprodukowane – jest podstawową umiejętnością, którą naprawdę chcemy mieć, mówi.

ukryć