Przekształcenie zwykłej kamery smartfona w kamerę 3D

Prawie każdy nosi w dzisiejszych czasach aparat fotograficzny dzięki posiadaniu telefonu komórkowego, ale niewiele z tych urządzeń rejestruje trójwymiarowe kontury obiektów jak aparat głębi.

W obiektywie: Dzięki kilku zmianom sprzętowym, takim jak pierścień diod bliskiej podczerwieni, kamera Microsoft LifeCam jest przystosowana do pracy jako kamera głębi.

Kamery głębinowe szybko zyskują na znaczeniu ze względu na swój potencjał w urządzeniach kieszonkowych, gdzie chodzi o to, że jeśli nasze telefony uchwycą kontury wszystkiego, od rogów ulic po aranżację salonu, programiści mogą tworzyć aplikacje, od lepszych interaktywnych gier po pomocne przewodniki dla osób niedowidzących.

Jednak podczas wysiłków takich jak Google Projekt Tango dodają kamery głębi do gadżetów mobilnych, nowe badania firmy Microsoft pokazuje, że dzięki prostym modyfikacjom i technikom uczenia maszynowego zwykła kamera smartfona lub kamera internetowa może być używana jako kamera głębi 3D. Chodzi o to, aby ułatwić dostęp do tworzenia aplikacji 3D poprzez obniżenie kosztów i technicznych barier wejścia dla takich urządzeń oraz aby same kamery głębi 3D były znacznie mniejsze i mniej energochłonne.

Ręce do góry: Badacze z Microsoftu zmodyfikowali aparat w smartfonie, aby mógł uchwycić głębię dłoni i twarzy.

Grupa kierowana przez Seana Ryana Fanello, Cema Keskina i Shahrama Izadi z Microsoft Research ma przedstawić papier o pracy we wtorek na Siggraph, konferencji grafiki komputerowej i interakcji w Vancouver w Kolumbii Brytyjskiej.

Aby zmodyfikować kamery, grupa usunęła filtr bliskiej podczerwieni, często używany w codziennych kamerach do blokowania normalnie niechcianych sygnałów świetlnych na zdjęciach. Następnie dodali filtr, który przepuszczał tylko światło podczerwone, wraz z pierścieniem kilku tanich diod bliskiej podczerwieni. W ten sposób zasadniczo sprawili, że każda kamera działała jak kamera na podczerwień.

W tył zwrot: Dzięki pewnym modyfikacjom badacze z Microsoftu mogą używać zwykłych aparatów do mapowania głębi dłoni i twarzy.

W pewnym sensie odwróciliśmy kamerę do góry nogami, zauważa Izadi.

Zespół Microsoftu twierdzi, że chciał wykorzystać intensywność odbicia światła podczerwonego jako coś w rodzaju skrzyżowania sygnału sonaru z pochodnią w ciemnym pomieszczeniu. Światło odbijałoby się od pobliskiego obiektu i wracało do czujnika z odpowiednią intensywnością. Obiekty są jasne, gdy są blisko i przyciemnione, gdy są daleko – intuicyjnie dla nas, jeśli chodzi o światło widzialne. Jednak grupa musiała przeszkolić maszyny (w tym przypadku smartfon Samsung Galaxy Nexus i kamerę internetową Microsoft LifeCam) w tej relacji, aby kamera mogła określić, czy widzi, powiedzmy, dużą dłoń w oddali, czy małą. ręka z bliska.

W ramach tego projektu naukowcy postanowili skoncentrować się tylko na jednym wyzwaniu: modelowaniu ludzkich rąk i twarzy, a nie wszystkich rodzajów obiektów i środowisk. Po zbudowaniu zestawu danych treningowych, które obejmowały obrazy dłoni, grupa odkryła, że ​​może on mierzyć ruchy osoby z prędkością 220 klatek na sekundę. W demonstracja grupa pokazała, w jaki sposób takie śledzenie można wykorzystać do nawigacji po mapie, na przykład wykonując ruchy chwytające lub rozkładając ręce, lub grając w prostą grę, taką jak wirtualne krojenie latającego banana w powietrzu.

Ręka treningowa: Ręka uchwycona przez zmodyfikowaną kamerę działającą jako kamera głębi (po lewej) jest wykorzystywana przez algorytm uczenia maszynowego badaczy firmy Microsoft do oszacowania jej głębokości (po prawej).

Podczas gdy dane treningowe koncentrowały się na twarzach i dłoniach, grupa tak naprawdę nie szkoliła maszyn w rozpoznawaniu dłoni lub twarzy, jak byśmy o nich myśleli, ale tylko właściwości odbicia skóry. Ogromna ilość danych uczących pozwala maszynie zbudować wystarczającą ilość skojarzeń z punktami danych na obrazach, aby następnie wykorzystać dodatkowe właściwości obrazu do oszacowania głębokości. Microsoft wybrał skórkę, ponieważ ma tak wiele implikacji dla poruszania się po środowiskach Xbox i Windows, ale Kohli wskazuje, że techniki uczenia maszynowego można przenieść w dowolne miejsce.

Jedynym ograniczeniem jest rodzaj danych treningowych, które mu podasz, mówi. Samo podejście można dostosować do pracy nad dowolnym innym scenariuszem.

ukryć