211service.com
Nowy wymiar Twoich zdjęć
Oglądanie odbitek z wakacji w Waszyngtonie może przywołać wspomnienia z pobytu w prawdziwych, trójwymiarowych miejscach, takich jak Pomnik Lincolna. Ale co by było, gdybyś mógł wejść na swoje zdjęcie i ponownie stanąć u stóp Lincolna - lub przynajmniej powiększyć trójwymiarową wersję swojego obrazu na ekranie komputera? Nowa usługa internetowa o nazwie Fotowoosh obiecuje zapewnić takie doświadczenie, dzięki uprzejmości badaczy wizji komputerowych z Carnegie Mellon University w Pittsburghu.
Wielkie zdjęcie: Internetowy system Fotowoosh zamienia płaskie, dwuwymiarowe obrazy w sceny 3D z możliwością powiększania przy użyciu algorytmów uczenia maszynowego, które dzielą obraz na obszary reprezentujące ziemię (zielone na obrazie z fałszywymi kolorami), pionowe powierzchnie (strzałki) i niebo ( koła). Powierzchnie te są następnie składane w trójwymiarowy model przypominający wyskakującą ilustrację w książeczce dla dzieci. Aby zbadać przykładowy model Fotowoosh w 3D, musisz pobrać zarówno plik .wrl ze strony Fotowoosh, jak i rozszerzenie przeglądarki 3D dla swoich przeglądarek internetowych.
Derek Hoiem , doktorantka w Carnegie Mellon’s Instytut Robotyki , spędził ostatnie półtora roku zastanawiając się, jak uzyskać oprogramowanie do konwersji płaskich obrazów na trójwymiarowe modele rzeczywistości wirtualnej, którymi można manipulować na ekranie. Praca z wykładowcami Aleksiej Efros oraz Hebert wojenny Hoiem wymyślił system uczenia maszynowego, który identyfikuje różne powierzchnie i ich orientacje na podstawie tego, czego nauczył się z poprzednich zdjęć. Zasadniczo Fotowoosh uwalnia osobę oglądającą zdjęcie z punktu widzenia fotografa, dzięki czemu może odkrywać perspektywy inne niż ta, którą faktycznie uchwycił aparat.
Ale już Freeweb , firma Silver Spring, MD, która obsługuje 14 milionów osobistych stron internetowych, niedługo uruchomi konsumencką wersję oprogramowania Hoiem w sieci. Prezes Freewebs Shervin Pishevar mówi, że ma nadzieję, że internauci prześlą tysiące zdjęć do Fotowoosh i udostępnią ich wersje 3-D innym odwiedzającym, dzięki czemu usługa stanie się czymś, co nazywa Flickr 3-D. Flickr to oczywiście bardzo popularna witryna Yahoo do udostępniania zdjęć i sieci społecznościowych.
Testowa wersja systemu Fotowoosh zostanie uruchomiona w maju, mówi Pishevar. System najlepiej sprawdza się na zdjęciach plenerowych. Przekonwertowane zdjęcia wyglądają trochę jak ilustracje w książeczkach dla dzieci: widać wyraźne podłoże odpowiadające płaskiej stronie w książeczce, a pionowe powierzchnie stoją pod kątem prostym do podłoża, reprezentując obiekty takie jak ściany, drzewa, i pojazdów. Obrazy pojawiają się na stronie internetowej załadowanej specjalną przeglądarką z elementami sterującymi do powiększania, przesuwania i obracania modelu 3D. Chociaż oprogramowanie dosłownie dodaje nowy wymiar starym zdjęciom turystycznym, w przyszłości może być również stosowane do celów takich jak nawigacja robotem lub budowanie fotorealistycznych wirtualnych światów 3D.
Multimedia
Wideo: nowy wymiar Twoich zdjęć
Hoiem mówi, że oprogramowanie naśladuje niektóre sztuczki, których nasz mózg używa, aby nadać głębi dwuwymiarowym obrazom, które stale lądują na naszych siatkówkach. Tradycyjne (niestereoskopowe) aparaty mają tylko jedno oko w porównaniu z naszymi dwoma. Oznacza to, że nie mogą wykorzystać paralaksy – zjawiska, w którym nasze prawe i lewe oko widzą pobliskie obiekty w nieco innych pozycjach w stosunku do obiektów oddalonych – aby uzyskać obraz stereo. W rzeczywistości jest matematycznie niemożliwe, aby oprogramowanie obliczało kształt sceny 3D z pojedynczego dwuwymiarowego obrazu ze 100-procentową pewnością, ponieważ obiekty na scenie mogą teoretycznie znajdować się w dowolnej odległości. Ale ludzie mogą to zrobić, zauważa Hoiem. Po prostu nie ma prostego rozwiązania algebraicznego.
W rzeczywistości paralaksa nie jest ściśle wymagana do widzenia trójwymiarowego: jeśli zamkniesz jedno oko, świat się nie psuje. Mózg wnioskuje o głębię za pomocą różnego rodzaju wskazówek, takich jak cieniowanie, kolor, ruch i nasze wyuczone doświadczenia dotyczące relacji przestrzennych między podłogami a ścianami lub między ulicami a budynkami. Okazuje się, że przy użyciu dość prostego modelu – myślenia o świecie w kategoriach powierzchni ziemi, wystających z niej pionowych powierzchni i nieba – można stworzyć całkiem przekonujące modele trójwymiarowe, mówi Hoiem.
Oprogramowanie, które opracował on, Efros i Hebert, rozpoczyna konwersję obrazu, próbując zgrupować każdy piksel w dwuwymiarowym obrazie w jedną z tych klas. Niebo jest zwykle najłatwiejsze – jest niebieskie lub białe. Górne i dolne krawędzie większości zdjęć są wyrównane z horyzontem, co pomaga oprogramowaniu zidentyfikować płaszczyznę podłoża. Okna wielopiętrowego budynku są często ułożone w równoległych liniach ze wspólnym punktem zbiegu – silnym wskazaniem pionowej powierzchni.
Ale Hoiem nie uczył oprogramowania tych zasad wprost. System jest oparty na algorytmach uczenia maszynowego, co oznacza, że ustala własne zasady, rozpoznając statystyczne wzorce na setkach obrazów, na których ziemia, niebo i pionowe powierzchnie zostały wstępnie oznaczone przez ludzi.
Na szczęście nie musieliśmy zaczynać od zera, mówi Hoiem. Wykonaliśmy dużo pracy nad tym, jak przedstawiamy kolor, teksturę i strukturę. Istnieje algorytm rozpoznawania znikającego punktu grupy linii. A ludzie dużo pracowali nad rozpoznawaniem przedmiotów, takich jak ludzie czy samochody. Ale nikt nie pomyślał, że może można połączyć to wszystko i nauczyć się rozpoznawać rzeczywistą geometrię sceny.
Gdy Fotowoosh zidentyfikuje główne powierzchnie w scenie, łączy je w model 3D przy użyciu formatu pliku Virtual Reality Markup Language lub VRML. Oprogramowanie odkleja części dwuwymiarowego obrazu i wkleja je na odpowiednie powierzchnie modelu w procesie zwanym mapowaniem tekstur.
Obecnie gotowe modele można oglądać jedynie w przeglądarce internetowej wyposażonej w specjalne rozszerzenie do przeglądania plików VRML. Jednak według Pishevara w wersji beta Fotowoosha, która ma się pojawić w przyszłym miesiącu, modele będą wyświetlane w bardziej popularnym formacie Flash, który jest już dostępny w większości przeglądarek. (Ten Strona główna Fotowoosh zawiera film prezentujący produkt końcowy dla kilku przykładowych zdjęć).
Obecnie system nie radzi sobie zbyt dobrze z oddzielaniem dyskretnych obiektów, które powinny znajdować się na pierwszym planie, takich jak piesi na ulicy, od powierzchni tła, takich jak ściany. Ale Hoiem nad tym pracuje. Za rok, a może mniej, będziesz mógł zrobić zdjęcie alejki z różnymi samochodami i ludźmi i stworzyć model 3D, w którym wszystkie są postrzegane jako oddzielne obiekty 3D na pierwszym planie, mówi.
Według Pishevara do listy oczekujących na oprogramowanie beta dołączyło około 17 000 osób. Odwiedzający będą mogli przesyłać i konwertować własne zdjęcia na modele 3D i przechowywać je w obszarze galerii, a członkowie Freewebs będą mogli osadzić modele na swoich stronach internetowych.
Pishevar mówi, że Freewebs zwrócił się do Hoiema o komercjalizację jego pracy, ponieważ jest to bardzo zgodne z naszą wizją przekształcenia rodzajów osobistych mediów, które można umieścić na wizualnej stronie internetowej. To jedna z tych technologii, które zmieniają sposób, w jaki postrzegasz świat i to, co uważasz za możliwe.
Ostatecznie praca Hoiema może zmienić sposób, w jaki roboty wykorzystują wizję komputerową do poruszania się po środowiskach usianych przeszkodami. Hoiem mówi, że on i jego koledzy pracują również nad sposobami tworzenia bardziej skomplikowanych modeli 3D poprzez przetwarzanie wielu zdjęć tego samego obszaru. Ponadto pracują nad pomysłem animowania scen 3D, takich jak ruchliwe ulice, poprzez przewidywanie kierunków, w jakich poruszaliby się piesi i samochody w ciągu kilku sekund po kliknięciu migawki fotografa.
Ponieważ modele Fotowoosh są zgodne ze standardowym formatem 3D, VRML, można je łatwo importować do innych aplikacji 3D, takich jak oprogramowanie do modelowania; wciągające wirtualne światy, takie jak Second Life firmy Linden Lab; oraz systemy wirtualnych kuli ziemskiej, takie jak Google Earth i Microsoft Virtual Earth. Możliwość tworzenia budynków trójwymiarowych z mapami tekstur wewnątrz tych światów z kilku dwuwymiarowych zdjęć byłaby dużym postępem w stosunku do obecnych metod, które obejmują konstruowanie modelu trójwymiarowego z planów lub innych danych, a następnie ręczne wklejanie zdjęć na każdy z nich. bok. To po prostu nie jest skalowalne, mówi Pishvar. Ale jeśli masz ludzi, którzy przesyłają miliardy zdjęć trójwymiarowych z całego świata… możesz przejść do tworzenia aplikacji, które wykorzystują modele do automatycznego wypełniania krajobrazów wirtualnych Ziemi.
Pishevar mówi, że Freewebs ostatecznie zapewni interfejs programowania aplikacji lub API, którego programiści będą mogli używać do tworzenia właśnie takich mashupów. Zapytany, czy jego firma prowadzi już rozmowy z takimi firmami jak Google czy Linden Lab, Pishevar jest nieśmiały: Właściwie nie możemy tego teraz komentować.