Błyszcząca nowa zabawka Microsoftu

Na ostatniej marcowej konferencji Technology, Entertainment, Design (TED) w Monterey w Kalifornii, szczycie, który został opisany jako Davos dla digerati, architekt oprogramowania z Microsoft o spokojnym głosie rozpoczął swoją demonstrację nagle, poruszając się szybko po morzu obrazów wyświetlanych na duży ekran. Używając Seadragon, technologii umożliwiającej płynną i szybką eksplorację dużych zestawów danych tekstowych i graficznych, bez wysiłku zanurkował w 300-megapikselową mapę, powiększając widok, by w jednym rogu odsłonić datownik z Biblioteki Kongresu. Następnie zwrócił się do obrazu, który wyglądał jak kod kreskowy, ale w rzeczywistości był kompletnym tekstem Charlesa Dickensa Ponury dom , powiększając ekran, aż dwie postacie o ostrych krawędziach wypełniły ekran, po czym szybko cofnąłem z powrotem do gigantycznego zbioru tekstu i obrazów.

Jesteś tutaj: Photosynth, aplikacja w fazie rozwoju w Live Labs firmy Microsoft, oferuje wciągający sposób przeglądania zdjęć danej rzeczy lub miejsca. Oprogramowanie nie zostało jeszcze wydane, ale Microsoft demonstruje je online za pomocą kolekcji zdjęć, takich jak ta z Placu Świętego Marka w Wenecji.

Microsoft nabył Seadragon w poprzednim roku – a wraz z nim prezenter, Blaise Agüera y Arcas. Ale Agüera y Arcas nie przyjechała na TED tylko po to, by pokazać Seadragona. Wkrótce przeszedł do panoramy złożonej razem ze zdjęć Canadian Rockies; mozaika przesuwała się, gdy przesuwał po niej, ukazując dramatyczną linię grzbietu. Następnie pojawił się widok z lotu ptaka czegoś, co wydawało się być modelem znanego budynku: katedry Notre Dame. Model, jak wyjaśniła Agüera y Arcas, został złożony z setek oddzielnych obrazów zebranych z Flickr. Była to chmura punktów – zbiór punktów w przestrzeni trójwymiarowej.

Ta historia była częścią naszego wydania z marca 2008 r.

• Zobacz resztę numeru
• Subskrybuj

Gdy mówił, Agüera y Arcas drażniąc się nawigował po peryferiach Notre Dame, które wielokrotnie ożywały i ponownie ciemniały. Efekt pędzenia przez przesuwające się obrazy i punkty ogniskowe został złagodzony dzięki subtelnym efektom przejściowym. To było jak celowo spowolniona rolka animacji klatka po klatce; efekt był wstrząsający. Tłum patrzył ze zdumieniem, jak Agüera y Arcas wsunęła się głębiej w frontowy widok łuku budynku, kończąc się ciasnym zbliżeniem gargulca. Niektóre obrazy, na których narysowała technologia, nie były nawet ściśle fotograficzne: przeszukano Flickr pod kątem wszystkich odpowiednich obrazów, w tym plakatu katedry. To, co demonstrowała Agüera y Arcas, nie było wideo, ale nie było to też jedynie zbiorem zdjęć, nawet gigantycznych. Przypominała też mapę, ale wciągającą, animowaną logiką snu rozmycia kształtów i zmieniających się perspektyw.

To był Photosynth – technologia, która analizuje powiązane obrazy i łączy je ze sobą w celu odtworzenia fizycznych środowisk w olśniewającej wirtualnej przestrzeni. Technologia tworzy metawers, powiedział Agüera y Arcas (więcej na temat rodzącego się łączenia technologii mapowania, takich jak Google Earth i fantastycznych królestw gier, takich jak Second Life, patrz Second Earth, lipiec/sierpień 2007); ale stanowi również długi ogon Virtual Earth, konkurenta Microsoftu dla Google Earth, ze względu na jego zdolność do czerpania z bogactwa lokalnych map i danych obrazu dostępnych online i przyczyniania się do ich wzbogacania. Powiedział, że może dostarczyć niezwykle bogatych modeli wirtualnych każdej interesującej części Ziemi, zebranych nie tylko z lotów napowietrznych, zdjęć satelitarnych itd., ale także ze zbiorowej pamięci. W tym momencie prezentacja zakończyła się równie nagle, jak zaczęła się jakieś sześć minut wcześniej. Końcowa wypowiedź Agüery y Arcas spotkała się z gromkimi brawami.

Multimedia

• Zobacz obrazy z Photosynth i zobacz, jak to działa.

• Oglądaj połączone zdjęcia Photosynth.

Poza łączeniem obrazów
Photosynth narodził się z tego, co Agüera y Arcas nazywa mariażem Seadragon i Photo Tourism, projektu Microsoft, który ma zrewolucjonizować sposób pakowania i wyświetlania zestawów zdjęć. Turystyka fotograficzna rozpoczęła się jako praca doktorska gorliwego 26-letniego studenta Uniwersytetu Waszyngtońskiego, Noah Snavely. Jednym z doradców Snavely'ego był Rick Szeliski, badacz wizji komputerowej w Microsoft Research, ramieniu badawczo-rozwojowym firmy. Opisałem potrzebę dobrych elementów mocnego pokazu slajdów, takich jak świetna kompozycja, wspomina Szeliski, którego wcześniejsza praca w Microsoft pomogła rozwinąć technologię łączenia obrazów, obecnie powszechnie stosowaną w aparatach cyfrowych, aby wypełnić szerszą lub wyższą ramkę. Szukał również płynności między obrazami i poczucia interaktywności w ich oglądaniu.

Współpracując z Szeliskim i profesorem Uniwersytetu Waszyngtońskiego, Stevem Seitzem, Snavely zamierzał zakodować drogę naprzód przez niemożliwe obliczeniowo wyzwanie: jak sprawić, by zdjęcia scalały się, na podstawie ich podobieństw, w fizyczny model 3D, który człowiek oczy mogą rozpoznać jako część autentycznego, rzeczywistego krajobrazu. Co więcej, model powinien umożliwiać użytkownikom nawigację i doświadczenie przestrzenne. Istniejące oprogramowanie do zszywania zdjęć używane w urządzeniach elektronicznych, takich jak aparaty cyfrowe, wiedziało, jak wywnioskować związki między obrazami z sekwencji, w której zostały zrobione. Ale Snavely próbował stworzyć oprogramowanie zdolne do dokonywania takich ocen w zupełnie inny sposób. Opracował dwuetapowy proces: w pierwszym kroku identyfikujemy najistotniejsze punkty na wszystkich obrazach 2D, mówi. Następnie próbujemy dowiedzieć się, które punkty na różnych obrazach odpowiadają temu samemu punktowi w 3D.

Proces, jak mówi Snavely, nazywa się „strukturą z ruchu”. Zasadniczo ruchoma kamera może wywnioskować strukturę trójwymiarową. To ten sam pomysł, co wtedy, gdy poruszasz głową w przód iw tył i możesz lepiej wyczuć trójwymiarową strukturę tego, na co patrzysz. Spróbuj zamknąć jedno oko i poruszać głową z boku na bok: zobaczysz, że różne punkty w różnych odległościach będą się poruszać inaczej. To jest podstawowa idea struktury z ruchu.

Wizja komputerowa, jak wyjaśnia Agüera y Arcas, korzysta z prostej pewności: wszystkie dane przestrzenne są policzalne. Każdy punkt w przestrzeni ma tylko trzy stopnie swobody: x, y i z, mówi.

Dodaje, że atrybuty wspólne dla niektórych zdjęć pomagają oznaczyć je jako podobne: np. charakterystycznie ukształtowana kostka brukowa może pojawiać się wielokrotnie. Kiedy oprogramowanie rozpozna podobieństwa – kamień na tym zdjęciu pojawia się również na tym – wie, że szukać dalszych podobieństw. Proces grupowania obrazów w oparciu o dopasowywanie elementów wizualnych nabiera w ten sposób pary, aż z tych kostek brukowych można odtworzyć całą ścieżkę. Im więcej obrazów zaczyna system, tym bardziej realistyczny jest wynik, zwłaszcza jeśli oryginalne zdjęcia zostały zrobione pod różnymi kątami i perspektywami.

To dlatego, że drugie ćwiczenie obliczeniowe, jak mówi Snavely, polega na porównaniu obrazów, na których wspólne cechy są przedstawione pod różnymi kątami. Okazuje się, że pierwszy proces wspomaga drugi, dając nam informacje o tym, gdzie muszą być kamery. Jesteśmy w stanie odzyskać punkt widzenia, z którego zrobiono każde zdjęcie, a gdy użytkownik wybierze zdjęcie, zostanie przeniesiony do tego punktu widzenia. Ustawiając punkt widzenia dla każdego obrazu – obliczając, gdzie musiała znajdować się kamera w momencie robienia zdjęcia – oprogramowanie może naśladować sposób, w jaki działa widzenie obuoczne, tworząc efekt 3D.

Jak jednak Szeliski wiedział, ludzkie oko jest najbardziej kapryśnym z krytyków. Tak więc on i jego dwaj koledzy starali się zrobić coś więcej niż tylko dzielić mniejsze części w większą całość; pracowali również nad efektami przejścia, które miały umożliwić jak najpłynniejsze połączenie obrazów. Udoskonalone przez nich techniki obejmują rozpuszczanie lub zanikanie, charakterystyczną metodę łączenia obrazów przez montażystów filmów i wideo.

W demo, które pokazało Fontannę di Trevi we Włoszech, firma Photo Tourism osiągnęła szczupłą, prymitywną wersję tego, co wyprodukuje Photosynth: chmurę punktów złożoną z obrazów reprezentujących różne perspektywy w jednym miejscu. Bardziej imponująca była zdolność oprogramowania do przeglądania banków obrazów pobranych z Flickr na podstawie opisowych tagów – zdjęć, które oczywiście nie zostały zrobione w celu wyprodukowania modelu. Rezultat, jak wspomina Szeliski, był zaskakujący i świeży nawet dla jego weterana.

Mieliśmy nowy sposób wizualizacji kolekcji zdjęć, interaktywny pokaz slajdów, mówi Szeliski. Myślę, że turystyka fotograficzna była zaskakująca z różnych powodów dla wtajemniczonych i osób z zewnątrz. Wtajemniczeni byli zdumieni nieodpartą łatwością doświadczenia. Mówi, że ludzie z zewnątrz nie mogli uwierzyć, że to w ogóle możliwe.

A jednak aplikacja Photo Tourism miała niepewną przyszłość. Chociaż był to techniczny rewelacja, opracowany w Linuksie i mógł działać w systemie Windows, nadal był w dużej mierze prototypem, a mapa drogowa dalszego rozwoju była niejasna.

Wiosną 2006 roku, kiedy Snavely prezentował Photo Tourism na wewnętrznym warsztacie Microsoftu, Blaise Agüera y Arcas, wówczas nowy pracownik, przeszedł obok i zauważył. Przybył niedawno dzięki przejęciu jego firmy Seadragon, która opracowała aplikację, którą opisuje jako menedżera pamięci wirtualnej 3D dla obrazów. Oszałamiająca atrakcyjność Seadragon polegała na tym, że umożliwiała użytkownikom ładowanie, przeglądanie i manipulowanie bezprecedensowymi ilościami informacji wizualnych, a jego wielkim osiągnięciem technicznym była możliwość robienia tego przez sieć. (Zdolność Photosynth do pracy z obrazami z Flickr i tym podobnych pochodzi jednak z technologii wywodzącej się z Photo Tourism).

Agüera y Arcas i Snavely zaczęli rozmawiać tego dnia. Latem 2006 prezentowano dema. Powstały produkt hybrydowy — część Photo Tourism, a część Seadragon — agreguje dużą grupę podobnych obrazów (zdjęć lub ilustracji), splatając je w trójwymiarowy wizualny model ich rzeczywistego tematu. Nadaje nawet trójwymiarowość obszarom, w których spotykają się zdjęcia 2D. Każdy pojedynczy obraz jest reprodukowany z idealną wiernością, ale w przejściach między nimi Photosynth wypełnia luki percepcyjne, które w przeciwnym razie uniemożliwiłyby kolekcji zdjęć wrażenie części obrazu o szerszej perspektywie. A poza tym, że jest wizualnym odpowiednikiem prawdziwej sceny, model z syntezatorem jest w pełni nawigowany. Jak wyjaśnia Snavely, Dominującym trybem nawigacji jest wybieranie następnego zdjęcia do odwiedzenia, klikając elementy sterujące, a system automatycznie przesuwa punkt widzenia w 3D do nowej lokalizacji. Wędrujące oko to dobra metafora. Oprogramowanie odtwarza fotografowany obiekt jako miejsce, które należy docenić pod każdym udokumentowanym kątem.

Zaskakujące osiągnięcie techniczne Photosynth jest jak wyciąganie królika z kapelusza: tworzy realistyczny interfejs 3D z dwuwymiarowego medium fotografii. To coś z niczego, mówi Alexei A. Efros, profesor Carnegie Mellon, który specjalizuje się w wizji komputerowej. Sekret, wyjaśnia Efros, tkwi w ilości zdjęć. W miarę jak otrzymujesz coraz więcej danych wizualnych, ilość staje się jakością, mówi. A gdy otrzymujesz niesamowite ilości danych, zaczyna mówić ci rzeczy, których wcześniej nie wiedziałeś. Dzięki ulepszonemu rozpoznawaniu wzorców, indeksowaniu i metadanym maszyny mogą wnioskować o trójwymiarowości. Wcześniej niż się spodziewamy, mówi Efros, wizja stanie się głównym czujnikiem maszyn, tak jak teraz jest dla ludzi.

Microsoft demonstruje Photosynth online z kolekcjami zdjęć, takimi jak ta z Placu Świętego Marka w Wenecji. Zdjęcia z tej kolekcji zostały wykonane przez jednego fotografa w ciągu 10 dni.
Źródło: dzięki uprzejmości Microsoft Live Labs

Czym może się stać
Prace Microsoftu nad Photosynth stanowią przykład strategii firmy dla 100-osobowych Live Labs. Po części skunks działający w sieci, po części teren rekrutacyjny dla głów śmigła, dla których korporacyjny rodzic nie jest odpowiedni, Live Labs ma po części zakwestionować to, o co ludzie myślą, że chodzi o Microsoft, mówi Gary Flake, 40-latek. pracownik techniczny, który jest założycielem i dyrektorem laboratorium. Jego bardziej bezpośrednim celem jest wprowadzenie technologii internetowych na rynek.

Prezentacja Flake'a na temat kultury Live Labs jest energiczna, ponieważ mówi o swoich wysiłkach, aby połączyć badania naukowe i inżynierię produktu. Flake, który pracował dla wielu organizacji badawczych, w tym Instytutu Badawczego NEC i Yahoo Research Labs, które założył i prowadził, opisuje to jako wyzwanie dla całej branży. W Live Labs mamy przemyślany portfel zabezpieczający, wyjaśnia. Mamy bardzo ciekawą mieszankę, obejmującą 40 różnych projektów.

Flake nie chce szczegółowo omawiać wielu swoich projektów, ale jest podekscytowany jego mandatem, aby wprowadzić więcej DNA w drodze do surowego talentu. Chcemy tworzyć i ulepszać stan produktów i usług internetowych, mówi, ale z pasją wypowiada się także o pracownikach Live Labs jako o ludzkich kamieniach Rosetty, które mogą służyć jako tłumacze w świecie badań i rozwoju, w którym inżynierowie i naukowcy często mówią inaczej. Języki.

Projekt Photosynth, mówi Flake, uosabia rodzaj sukcesu, jaki chce osiągnąć poprzez swoje wysiłki na rzecz przezwyciężenia tradycyjnego podziału między nauką a inżynierią produktu. Stanowi poważny postęp w dziedzinie techniki.

Obecnie Photosynth można zobaczyć tylko w wersji demo online, ale zespół Agüera y Arcas ma nadzieję, że wyda go do końca roku. Co może z nią zrobić ktoś, kto ją nabędzie, dopiero się okaże. Chmury punktów mogą być wykonane z zaledwie dwóch lub trzech obrazów, więc można sobie wyobrazić użytkowników tworzących stosunkowo nieskomplikowane syntezatory własnej fotografii – na przykład z rodzinnej wycieczki do Mount Rushmore. (Oczywiście ludzie, którzy mają Photosynth, mogą zacząć robić o wiele więcej zdjęć danego miejsca, aby móc później stworzyć bogaty syntezator.) Ale może również być tak, że użytkownicy będą korzystać z internetowych bibliotek zdjęć – co prawdopodobnie będą musiały zostać pobrane na lokalny komputer, aby stworzyć własne syntezatory wysoce sfotografowanych witryn.

Mimo to Photosynth jest w większości obiecujący z niewielkimi dowodami. Pytania techniczne obfitują w to, jak łatwo będzie z niego korzystać i jakie dokładnie będą jego możliwości. Ponadto, pomimo początków Photo Tourism, Photosynth pozostanie Windowsem tylko w dającej się przewidzieć przyszłości.

Mimo natychmiastowej atrakcyjności Photosynth, jego zastosowania również pozostają niejasne. Świat nie potrzebuje kolejnej przeglądarki obrazów, nawet przełomowej. Jeszcze bardziej nieprawdopodobne wydaje się, aby użytkownicy płacili za Photosynth w jego obecnej formie. W międzyczasie los Photosynth będzie zależeć od tego, czy zdoła zbudować szeroką społeczność użytkowników. Czy przyjmie nowe zastosowania dla tych, którzy go przyjmą, tak jak zrobił to Google Earth? Co ważniejsze, czy Microsoft wyda produkt końcowy na tyle otwarty, że taka społeczność będzie mogła szukać zastosowań innych niż pierwotnie zamierzone?

Flake donosi, że zespół Photosynth wyczarował dziesiątki potencjalnych zastosowań, z których dwa wydają się szczególnie prawdopodobne.

Jednym z nich jest pełniejsza integracja z Microsoft Virtual Earth, dzięki czemu jest to narzędzie, które przenosi użytkowników do następnego kroku w głębokim powiększeniu. Dzięki wirtualnej Ziemi obsługującej topografię i fotografię lotniczą, podczas gdy Photosynth koordynuje bogactwo ziemskiego materiału fotograficznego, te dwie aplikacje mogą dać początek rodzajowi lekkiego metawersu, by użyć terminu, który Agüera y Arcas przywołała na TED.

Odnotowując obiekt Photosynth z budynkami i placami miejskimi, Seitz przewiduje również duży wzrost. Chcielibyśmy uchwycić całe miasta – mówi. Rzeczywiście, Agüera y Arcas i Stephen Lawler, dyrektor generalny projektu Microsoft Virtual Earth, ogłosili w sierpniu 2007 roku w Las Vegas na dorocznej konwencji hakerów Defcon, że planują partnerstwo. Seitz mówi, że po usunięciu stosunkowo drobnych przeszkód technicznych nic nie powstrzyma nas przed modelowaniem miast.

Ponieważ ludzie tworzą i przechowują coraz większe ilości multimediów cyfrowych, Photosynth może nawet umożliwić użytkownikom transmisję swoich rodzinnych albumów ze zdjęciami. Wyobraź sobie, że możesz patrzeć, jak twoje dzieci dorastają we własnym domu, mówi Flake, tylko z twojej kolekcji zdjęć.

Ponieważ takie pomysły przenikają, zespół Photosynth prawie nie siedzi w miejscu. Latem ubiegłego roku naukowcy opublikowali online demo współpracy z NASA, a teraz współpracują z Jet Propulsion Lab, aby zsyntetyzować niewielką część powierzchni Marsa.

Można się zastanawiać, jak bardzo Microsoft jest skłonny finansować tego rodzaju maniaków. Z drugiej strony, jak pytają retorycznie Agüera y Arcas i Flake, jak oceniać tego rodzaju techniczne osiągnięcie? Choć wydaje się, że Photosynthowi brakuje jasnej ścieżki na rynek, wydaje się również, że brakuje mu konkurencji.

Jeffrey MacIntyre jest niezależnym dziennikarzem, który szeroko pisze o kulturze, nauce i technologii.

ukryć