Jak działa rozszerzona rzeczywistość Magic Leap

Startup z Florydy o nazwie Magiczny skok ogłosił we wtorek, że miał otrzymał 542 miliony dolarów w finansowaniu od głównych inwestorów z Doliny Krzemowej kierowanych przez Google w celu opracowania sprzętu dla nowego rodzaju sprzętu rozszerzonej rzeczywistości. Tajny startup musi jeszcze publicznie opisać lub zademonstrować swoją technologię i odrzucił prośbę o rozmowę kwalifikacyjną. Jednak zgłoszenia patentowe i dotyczące znaków towarowych ujawniają rodzaj technologii, którą Magic Leap planuje wykorzystać do stworzenia tego, co dyrektor generalny i założyciel firmy Rony Abovitz zadzwonił najbardziej naturalny i przyjazny dla człowieka interfejs komputerowy do noszenia na świecie.

DO zgłoszenie patentowe przez uruchomienie Magic Leap opisuje wyświetlacz do noszenia, który prezentuje realistyczne obrazy 3D, zasilany przez komputer noszony na biodrze.

Zgłoszenia opisują zaawansowaną technologię wyświetlania, która może oszukać ludzki system wizualny lepiej niż istniejące wyświetlacze rzeczywistości wirtualnej (takie jak Oculus Rift) do postrzegania wirtualnych obiektów jako rzeczywistych. Technologia wyświetlania stosowana w większości urządzeń może wyświetlać tylko płaskie obrazy 2D. Zestawy słuchawkowe, takie jak Oculus Rift, skłaniają mózg do postrzegania głębi, wyświetlając różne obrazy każdemu oku, ale oczy zawsze skupiają się na płaskim ekranie tuż przed nimi.

Kiedy patrzysz na rzeczywistą scenę 3D, głębia, na której skupiają się twoje oczy, zmienia się, gdy patrzysz na obiekty znajdujące się w różnych odległościach. Jeśli pominiemy te wskazówki dotyczące koncentracji, otrzymamy wrażenia, które nie są całkiem realistyczne, mówi Gordon Wetzstein , który kieruje Grupą Badawczą Obrazowania Obliczeniowego na Uniwersytecie Stanforda.

Patenty Magic Leap sugerują alternatywne podejście. Opisują wyświetlacze, które mogą tworzyć ten sam rodzaj trójwymiarowych wzorów promieni świetlnych, zwanych polami światła, które nasze oczy odbierają z rzeczywistych obiektów wokół nas. Wetzstein i inni badacze wykazali, że pozwala to twoim oczom skupić się na głębiach sztucznej sceny 3D, tak jak w prawdziwym świecie, zapewniając znacznie bardziej realistyczną iluzję wirtualnych obiektów połączonych ze światem rzeczywistym.

Na początku tego roku Wetzstein i współpracownicy wykorzystali tę technikę do stworzenia wyświetlacza, który umożliwia wyraźny odczyt tekstu osobom, które nie noszą zwykłych soczewek korekcyjnych (patrz Prototypowy wyświetlacz pozwala pożegnać się z okularami do czytania ). Wcześniej pracował nad wyświetlacze 3D bez okularów w oparciu o podobne metody. A w zeszłym roku naukowcy z firmy chipowej Nvidia wykazali, że: podstawowy wyświetlacz do noszenia w oparciu o jasne pola.

DO zgłoszenie znaku towarowego z lipca opisuje technologię Magic Leap jako sprzęt komputerowy do noszenia, a mianowicie optyczny system wyświetlania zawierający dynamiczny wyświetlacz pola świetlnego.

Jeden z magicznych skoków patenty opisują jak działałoby takie urządzenie, nazwane WRAP, dla rzutnika falowodowego. Wyświetlacz składałby się z szeregu małych zakrzywionych lusterek; światło byłoby dostarczane do tej matrycy za pośrednictwem światłowodu, a każdy z maleńkich elementów odbijałby część tego światła, tworząc pole światła dla określonego punktu w przestrzeni trójwymiarowej. Tablica może być półprzezroczysta, aby umożliwić osobie oglądanie świata rzeczywistego w tym samym czasie.

Wiele warstw takich maleńkich lusterek pozwoliłoby wyświetlaczowi stworzyć iluzję wirtualnych obiektów w różnych odległościach. Jednak patent Magic Leap twierdzi również, że wystarczyłaby pojedyncza warstwa luster, gdyby zostały utworzone z płynu magnetycznego. To pozwoliłoby przeprogramować lustra za pomocą pola magnetycznego, aby szybko wyświetlać punkty na różnych głębokościach, wystarczająco szybko, aby oszukać oko, jak klatki animacji.

Największym wyzwaniem Magic Leap może być znalezienie sposobu na płynną integrację wirtualnych obiektów 3D stworzonych przez ten wyświetlacz z tym, co dana osoba widzi w prawdziwym świecie. Wymagałoby to od systemu wyczuwania świata w 3D i dokładnego rozumienia, na co dana osoba patrzy i jego dokładnej pozycji, mówi Wetzstein.

Jeden z patentów Magic Leap obejmuje użycie czujniki ruchu i kamery śledzące ruch gałek ocznych na przenośnym wyświetlaczu, aby dowiedzieć się, na jakiej głębokości skupiają się oczy danej osoby. Ale Wetzstein mówi, że nie jest świadomy nikogo, kto demonstruje jeszcze system do noszenia, który może śledzić odległość, na której koncentruje się dana osoba.

Kolejne zgłoszenie patentowe Magic Leap mówi, że kamery, czujniki podczerwieni i czujniki ultradźwiękowe może być używany do wyczuwania otoczenia wokół osoby i rozpoznawania gestów. Kamery wykrywające głębię są teraz stosunkowo tanie i kompaktowe (patrz Intel mówi, że wkrótce pojawią się tablety i laptopy z trójwymiarową wizją). Ale Wetzstein mówi, że Magic Leap prawdopodobnie będzie musiał dokonać poważnych przełomów w oprogramowaniu do widzenia komputerowego, aby urządzenie ubieralne nadało sens światu wystarczająco dużo dla bardzo bogatej rzeczywistości rozszerzonej. „Będą wymagały bardzo wydajnego rozpoznawania obrazu 3D, działającego na wyświetlaczu na głowie”, mówi.

Firma rekrutuje ekspertów w projekt chipa oraz produkcja , najwyraźniej z myślą o tworzeniu niestandardowych chipów do przetwarzania danych obrazu. Dedykowane chipy mogą sprawić, że ta praca będzie bardziej energooszczędna, co jest ważne w przypadku urządzenia do noszenia. Magic Leap już zatrudnia Gary Bradski , pionier badań i oprogramowania w zakresie wizji komputerowej, zauważa Wetzstein. Magic Leap stara się również rekrutować ludzi wykwalifikowanych w lasery , mobilny oraz bezprzewodowy elektronika, kamery, zarządzanie łańcuchem dostaw produkcji, Detekcja 3D , sztuczna inteligencja , oraz tworzenie gier wideo .

W sumie zademonstrowano wiele podstawowych technik, których Magic Leap potrzebuje, aby urzeczywistnić wysoce realistyczną rzeczywistość rozszerzoną, mówi Wetzstein. Ale firma będzie musiała je dopracować i połączyć w sposób, którego nikomu jeszcze nie udało się zrobić. Myślę, że ludzie zaczynają zdawać sobie sprawę, że to przyszłość budowania urządzeń konsumenckich, mówi. Wiąże się to jednak z dużymi wyzwaniami na przecięciu optyki, elektroniki, algorytmów i zrozumienia ludzkiego układu wzrokowego.

ukryć