Widzenie maszynowe nauczyło się wykorzystywać fale radiowe do widzenia przez ściany i w ciemności

Wyjście rozpoznawania akcji pokazujące kopie i klepanie postaci po plecach Z CSAIL

Widzenie maszynowe ma imponujący dorobek. Posiada nadludzką zdolność rozpoznawania ludzi, twarzy i przedmiotów. Potrafi nawet rozpoznać wiele różnych rodzajów działań, choć jeszcze nie tak dobrze, jak ludzie.

Ale są ograniczenia w jego wydajności. Maszyny mają szczególnie trudny okres, gdy ludzie, twarze lub przedmioty są częściowo zasłonięte. A kiedy poziom światła spada zbyt mocno, są one skutecznie oślepiane, podobnie jak ludzie.

Ale jest inna część widma elektromagnetycznego, która nie jest ograniczona w ten sam sposób. Fale radiowe wypełniają nasz świat, niezależnie od tego, czy jest noc, czy dzień. Z łatwością przechodzą przez ściany i są zarówno przenoszone, jak i odbijane przez ludzkie ciała. Rzeczywiście, naukowcy opracowali różne sposoby wykorzystania sygnałów radiowych Wi-Fi do widzenia za zamkniętymi drzwiami.

Ale te systemy wizyjne mają pewne wady. Ich rozdzielczość jest niska; obrazy są hałaśliwe i wypełnione rozpraszającymi refleksami, przez co trudno jest zrozumieć, co się dzieje.

W tym sensie obrazy radiowe i obrazy w świetle widzialnym mają uzupełniające się zalety i wady. A to daje możliwość wykorzystania mocnych stron jednego do przezwyciężenia niedociągnięć drugiego.

Oto Tianhong Li i współpracownicy z MIT, którzy znaleźli sposób na nauczenie systemu radiowizyjnego rozpoznawania działań ludzi poprzez trenowanie go za pomocą obrazów w świetle widzialnym. Nowy system radiowizyjny może zobaczyć, co robią poszczególne osoby w wielu sytuacjach, w których obrazowanie w świetle widzialnym zawodzi. Wprowadzamy model sieci neuronowej, który może wykrywać ludzkie działania przez ściany i okluzje oraz w złych warunkach oświetleniowych, powiedzmy Li i spółka.

Metoda zespołu wykorzystuje zgrabną sztuczkę. Podstawową ideą jest nagrywanie obrazów wideo tej samej sceny przy użyciu światła widzialnego i fal radiowych. Systemy widzenia maszynowego są już w stanie rozpoznawać ludzkie działania na podstawie obrazów w świetle widzialnym. Następnym krokiem jest więc skorelowanie tych obrazów z obrazami radiowymi tej samej sceny.

Ale trudność polega na zapewnieniu, że proces uczenia się skupia się na ruchu człowieka, a nie na innych cechach, takich jak tło. Tak więc Li i spółka wprowadzają etap pośredni, w którym maszyna generuje trójwymiarowe modele patyczków, które odtwarzają działania ludzi na scenie.

Przekładając dane wejściowe na pośrednią reprezentację opartą na szkielecie, nasz model może uczyć się zarówno z zestawów danych opartych na wizji, jak i na częstotliwościach radiowych, i pozwalać tym dwóm zadaniom na wzajemną pomoc. powiedz Li i spółka.

W ten sposób system uczy się rozpoznawać czynności w świetle widzialnym, a następnie za pomocą fal radiowych rozpoznawać te same czynności zachodzące w ciemności lub za ścianami. Pokazujemy, że nasz model osiąga porównywalną dokładność do systemów rozpoznawania akcji opartych na wizji w widzialnych scenariuszach, ale nadal działa dokładnie, gdy ludzie nie są widoczni, twierdzą naukowcy.

To interesująca praca, która ma duży potencjał. Oczywiste zastosowania to scenariusze, w których obrazy w świetle widzialnym zawodzą — w warunkach słabego oświetlenia i za zamkniętymi drzwiami.

Ale są też inne zastosowania. Jednym z problemów związanych z obrazami w świetle widzialnym jest to, że ludzie są rozpoznawalni, co rodzi problemy z prywatnością.

Ale system radiowy nie ma rozdzielczości rozpoznawania twarzy. Identyfikowanie działań bez rozpoznawania twarzy nie budzi tych samych obaw o prywatność. Może zapewnić rozpoznawanie działań w domach ludzi i umożliwić jego integrację z systemami inteligentnego domu, powiedzmy Li i spółka. Można to wykorzystać na przykład do monitorowania domu osoby starszej i ostrzegania odpowiednich służb o upadku. I zrobiłoby to bez większego ryzyka dla prywatności.

To wykracza poza możliwości dzisiejszych systemów wizyjnych.

Nr ref.: arxiv.org/abs/1909.09300 : Uczynić niewidzialne widzialnym: Rozpoznawanie działań przez ściany i okluzje

ukryć