Facebook chce, aby maszyny widziały świat naszymi oczami

Przegląd technologii MIT | Envato

Przyjmujemy za pewnik, że maszyny potrafią rozpoznać to, co widzą na zdjęciach i filmach. Ta umiejętność opiera się na duże zbiory danych, takie jak ImageNet , ręcznie wyselekcjonowana kolekcja milionów zdjęć wykorzystywanych do trenowania większości najlepszych modeli rozpoznawania obrazów ostatniej dekady.

Ale obrazy w tych zestawach danych przedstawiają świat wyselekcjonowanych obiektów — galerię obrazów, która nie oddaje bałaganu codziennego życia, tak jak go doświadczają ludzie. Sprawienie, by maszyny widziały rzeczy tak, jak my, przyjmie zupełnie nowe podejście. A laboratorium AI Facebooka chce przejąć inicjatywę.

Jest to rozpoczęcie projektu o nazwie Ego4D , aby zbudować sztuczną inteligencję, która może zrozumieć sceny i czynności widziane z perspektywy pierwszej osoby — jak rzeczy wyglądają dla zaangażowanych osób, a nie dla widza. Pomyśl o rozmytych w ruchu nagraniach GoPro nakręconych w środku akcji, zamiast dobrze wykadrowanych scen nakręconych przez kogoś z boku. Facebook chce, aby Ego4D zrobiło dla wideo z perspektywy pierwszej osoby to, co ImageNet zrobił dla zdjęć.

Powiązana historia

Dlaczego Facebook używa Ray-Ban, aby wystawić roszczenie na nasze twarze

Aby zbudować metaverse, Facebook potrzebuje nas, abyśmy przyzwyczaili się do inteligentnych okularów.

Przez ostatnie dwa lata Facebook AI Research (FAIR) współpracował z 13 uniwersytetami na całym świecie w celu zgromadzenia największego w historii zestawu danych wideo z perspektywy pierwszej osoby — w szczególności w celu trenowania modeli rozpoznawania obrazów głębokiego uczenia się. Sztuczna inteligencja wyszkolona na zbiorze danych będzie lepiej kontrolować roboty, które wchodzą w interakcję z ludźmi lub interpretować obrazy z inteligentnych okularów. Maszyny będą w stanie pomóc nam w codziennym życiu tylko wtedy, gdy naprawdę zrozumieją świat naszymi oczami – mówi Kristen Grauman z FAIR, która kieruje projektem.

Taka technologia może wspierać osoby potrzebujące pomocy w domu lub prowadzić ludzi w zadaniach, które uczą się wykonywać. Wideo w tym zestawie danych jest znacznie bliższe temu, jak ludzie obserwują świat, mówi Michael Ryoo, badacz wizji komputerowej z Google Brain i Stony Brook University w Nowym Jorku, który nie jest zaangażowany w Ego4D.

Ale potencjalne nadużycia są jasne i niepokojące. Badania są finansowane przez Facebooka, giganta mediów społecznościowych, który został niedawno oskarżony w Senacie USA o przedkładanie zysków nad dobro ludzi —co potwierdzone przez MIT Technology Review’s własne dochodzenia .

Model biznesowy Facebooka i innych firm Big Tech polega na wydobyciu jak największej ilości danych z zachowań ludzi w Internecie i sprzedaży ich reklamodawcom. Sztuczna inteligencja nakreślona w projekcie może rozszerzyć ten zasięg na codzienne zachowanie ludzi w trybie offline, ujawniając, jakie przedmioty znajdują się w twoim domu, jakie czynności lubisz, z kim spędzałeś czas, a nawet gdzie zatrzymywało się twoje spojrzenie – bezprecedensowy poziom danych osobowych.

Jest praca nad prywatnością, którą należy wykonać, gdy przenosisz to ze świata badań eksploracyjnych do czegoś, co jest produktem, mówi Grauman. Ta praca może być nawet inspirowana tym projektem.

FACEBOOK

Największy dotychczasowy zestaw danych wideo z perspektywy pierwszej osoby składał się ze 100 godzin nagrań osób w kuchni. Zestaw danych Ego4D składa się z 3025 godzin nagrań wideo nagranych przez 855 osób w 73 różnych lokalizacjach w dziewięciu krajach (USA, Wielka Brytania, Indie, Japonia, Włochy, Singapur, Arabia Saudyjska, Kolumbia i Rwanda).

Uczestnicy byli w różnym wieku i pochodzili z różnych środowisk; niektórzy zostali zwerbowani do swoich interesujących wizualnie zawodów, takich jak piekarze, mechanicy, stolarze i architekci krajobrazu.

Poprzednie zestawy danych zazwyczaj składały się z pół-skryptowych klipów wideo, trwających tylko kilka sekund. W przypadku Ego4D uczestnicy nosili kamery na głowie przez maksymalnie 10 godzin i nagrywali wideo z pierwszej osoby z nieskryptowanych codziennych czynności, w tym spacery ulicą, czytanie, robienie prania, zakupy, zabawy ze zwierzętami, granie w gry planszowe i interakcji z innymi ludźmi. Część materiału filmowego zawiera również dźwięk, dane dotyczące miejsca skupienia wzroku uczestników oraz wiele perspektyw na tę samą scenę. To pierwszy tego rodzaju zestaw danych, mówi Ryoo.

FAIR uruchomiło również zestaw wyzwań, które, jak mają nadzieję, skoncentrują wysiłki innych badaczy na rozwoju tego rodzaju sztucznej inteligencji. Zespół przewiduje algorytmy wbudowane w inteligentne okulary, takie jak Facebook niedawno ogłosił Ray-Bans , które rejestrują i rejestrują codzienne życie użytkowników. Oznacza to, że aplikacje metaverse w rozszerzonej lub wirtualnej rzeczywistości mogą teoretycznie odpowiadać na pytania typu Gdzie są moje kluczyki? lub Co jadłem i obok kogo siedziałem podczas mojego pierwszego lotu do Francji? Asystenci rzeczywistości rozszerzonej mogą zrozumieć, co próbujesz zrobić, i zaoferować instrukcje lub przydatne wskazówki społeczne.

To sci-fi, ale bliżej niż myślisz, mówi Grauman. Duże zbiory danych przyspieszają badania. ImageNet w krótkim czasie wprowadził duże postępy, mówi. Tego samego możemy spodziewać się w przypadku Ego4D, ale w przypadku widoków świata z perspektywy pierwszej osoby, a nie obrazów internetowych.

Po zebraniu materiału filmowego pracownicy crowdsourcingowi w Rwandzie spędzili łącznie 250 000 godzin, oglądając tysiące klipów wideo i pisząc miliony zdań opisujących nakręcone sceny i czynności. Te adnotacje posłużą do szkolenia AI w zrozumieniu tego, co oglądają.

Powiązana historia

Pełne błędów zestawy danych wypaczają nasze poczucie, jak dobra jest sztuczna inteligencja

Nasze rozumienie postępów w uczeniu maszynowym zostało ubarwione przez błędne dane testowe.

Dokąd ta technologia się skończy i jak szybko się rozwinie, okaże się. FAIR planuje konkurs w oparciu o swoje wyzwania w czerwcu 2022 roku. Należy również zauważyć, że FAIR, laboratorium badawcze, to nie to samo co Facebook, medialny megalodon. W rzeczywistości, wtajemniczeni mówią, że Facebook zignorował techniczne poprawki opracowane przez FAIR dla swoich toksycznych algorytmów . Ale Facebook płaci za badania i nieszczere jest udawanie, że firma nie jest zbytnio zainteresowana jego zastosowaniem.

Sam Gregory z Witness, organizacji zajmującej się prawami człowieka, która specjalizuje się w technologii wideo, twierdzi, że ta technologia może być przydatna dla osób postronnych dokumentujących protesty lub nadużycia policji. Uważa jednak, że korzyści te są niwelowane przez obawy związane z zastosowaniami komercyjnymi. Zauważa, że ​​można zidentyfikować osoby po tym, jak trzymają kamerę wideo. Dane ze spojrzenia byłyby jeszcze bardziej odkrywcze: to bardzo silny wskaźnik zainteresowania, mówi. Jak będą przechowywane dane dotyczące spojrzenia? Dla kogo będzie dostępny? Jak można go przetwarzać i wykorzystywać?

Reputacja Facebooka i podstawowy model biznesowy wzbudzają wiele alarmów – mówi Rory Mir z Electronic Frontier Foundation. W tym momencie wiele osób zdaje sobie sprawę ze słabych osiągnięć Facebooka w zakresie prywatności i wykorzystywania przez nich nadzoru w celu wpływania na użytkowników – zarówno w celu utrzymania ich w pułapce, jak i sprzedaży tego wpływu płatnym klientom, reklamodawcom. Jeśli chodzi o rozszerzoną i wirtualną rzeczywistość, Facebook szuka przewagi konkurencyjnej, mówi Mir: Zwiększenie ilości i rodzajów gromadzonych danych jest niezbędne.

Zapytany o swoje plany, Facebook nie był zaskoczeniem: Ego4D to wyłącznie badania mające na celu promowanie postępów w szerszej społeczności naukowej, mówi rzecznik. Nie mamy dziś nic do udostępnienia na temat zastosowań produktów lub użytku komercyjnego.

ukryć