Przyszłość fotograficzna

Pewnego letniego dnia w 1826 roku, w swojej wiejskiej posiadłości, około 340 kilometrów na południowy wschód od Paryża, Joseph Nicéphore Niépce ustawił swoją camera obscura i wyświetlił obraz swojego podwórka na cynowej płycie pokrytej materiałem światłoczułym. Przez osiem godzin soczewka skupiała światło słoneczne, chemicznie naprawiając obszary, w które padło światło na płytę, aby uchwycić widok gołębnika, gruszy, dachu stodoły i wysuniętego skrzydła jego domu. Za to osiągnięcie Niépce przypisuje się stworzenie pierwszego na świecie zdjęcia.

Cyna i inne solidne płyty ustąpiły miejsca elastycznym rolkom folii w 1889 roku; kolorowy film, który pojawił się w połowie lat 30. XX wieku. W połowie lat 90. wprowadzono pierwsze masowe kolorowe aparaty cyfrowe, rejestrujące obrazy za pomocą czujników światła na chipie. Te postępy doprowadziły do ​​powstania tańszych, mniejszych i bardziej przenośnych kamer, które mogą wytwarzać żywe obrazy. Ale na najbardziej podstawowym poziomie kamery nie zostały znacząco zmienione, mówi Ramesh Raskar, profesor nadzwyczajny i lider grupy Camera Culture w MIT Media Lab. Mówi, że samo urządzenie fizyczne prawie się nie zmieniło w ciągu ostatnich 100 lat. Masz podobny obiektyw, podobne pudełko, które naśladuje ludzkie oko. Poza tym, że jest tańszy, szybszy i wygodniejszy, fotografia tak bardzo się nie zmieniła.

Ta historia była częścią naszego wydania z maja 2009

• Zobacz resztę numeru
• Subskrybuj

Raskar ma jednak nadzieję, że on i inni z MIT i na całym świecie mogą wywołać rewolucję w fotografii. Naukowcy zajmujący się fotografią obliczeniową ponownie zastanawiają się nad aparatami cyfrowymi, aby lepiej wykorzystać wbudowane w nie komputery. Wyobrażają sobie dzień, w którym każdy będzie mógł używać aparatu z małym, tanim obiektywem do robienia oszałamiających zdjęć, które dziś są osiągalne tylko przez profesjonalnych fotografów korzystających z wysokiej klasy sprzętu i oprogramowania, takiego jak Adobe Photoshop. W rzeczywistości uważają, że takie kamery mogą przekroczyć dzisiejsze najbardziej wyrafinowane technologie, przezwyciężając to, co wydawało się fundamentalnymi ograniczeniami.

Fotografia obliczeniowa obejmuje nowe projekty elementów optycznych i sprzętu kamery, a także nowe algorytmy analizy obrazu. Celem, jak mówi Raskar, jest zbudowanie kamer, które mogą rejestrować to, co widzi oko, a nie tylko to, co jest w stanie uchwycić obiektyw i czujnik. Jeśli jedziesz kolejką górską, nigdy nie uzyskasz dobrego zdjęcia, mówi. Jeśli jesteś na wspaniałej kolacji, nigdy nie możesz robić zdjęć, które sprawią, że jedzenie będzie wyglądać apetycznie. Ale dzięki technikom obliczeniowym kamery mogą wyeliminować rozmycie ze zdjęcia wykonanego na wyboistej przejażdżce po parku rozrywki. Takie aparaty mogłyby również uchwycić subtelne kształty i cienie jedzenia oraz uśmiechy ludzi w słabym świetle kolacji przy świecach – bez długiego czasu naświetlania, który niezmiennie daje rozmyte zdjęcia lub użycie zakłócającej lampy błyskowej.

Pasek boczny: Podróż z laboratorium na rynek

Co więcej, fotografia obliczeniowa może ułatwić fotografom amatorom tworzenie zdjęć, które dziś wymagają specjalistycznych i czasochłonnych technik obróbki końcowej. Nawet aparaty do telefonów komórkowych, które mają niedrogie obiektywy, mogą dać amatorom taką samą kontrolę nad ustawianiem ostrości, jaką mają profesjonaliści z wysokiej klasy lustrzanką jednoobiektywową (SLR).

Wszystkie aparaty działają w ten sam podstawowy sposób: światło przechodzi przez soczewkę ogniskującą i przechodzi przez aperturę. W tradycyjnym aparacie światło pada na fotoreaktywne substancje chemiczne na kliszę lub płyty. W aparacie cyfrowym światło przechodzi przez filtry rozdzielające kolory i trafia na szereg fotoczujników, z których każdy reprezentuje piksel. Kiedy światło uderza w fotoczujnik, wytwarza prąd elektryczny, którego siła odzwierciedla intensywność światła. Prąd jest konwertowany na cyfrowe 1s i 0 s, które procesor aparatu (chip komputera) przekształca następnie w obraz, który pojawia się na ekranie podglądu aparatu i jest przechowywany na karcie pamięci flash lub na wewnętrznym dysku twardym.

Gdy obrazy są rejestrowane jako cyfrowe bity informacji, można je poprawić za pomocą oprogramowania, otwierając zupełnie nowy świat możliwości. Jak mówi Raskar, przez ostatnie 15 lat naukowcy pracowali nad pełnym wykorzystaniem tych możliwości, zwłaszcza poprzez nowe algorytmy przetwarzania obrazu, które zapożyczają z tradycyjnie odrębnych dziedzin widzenia komputerowego i grafiki komputerowej. Widzenie komputerowe umożliwia kamerze analizę obiektów na zdjęciu, wyłapywanie takich cech, jak krawędź stołu. A techniki grafiki komputerowej oferują wiele sposobów manipulowania obrazem cyfrowym. Połączenie tych podejść w aparacie, którego komponenty optyczne zaprojektowano z myślą o takich algorytmach, może spowodować zaskakujące rzeczy. Na przykład można w efekcie dostosować źródło światła po zrobieniu zdjęcia, aby obiekt oświetlony pod jednym kątem wydawał się być oświetlony pod innym. Możesz nawet ustawić ostrość na zdjęciu po fakcie.

Walka w ruchu Blur

Jednym z najbardziej przekonujących przykładów tego, co może osiągnąć fotografia obliczeniowa, jest fotografia niezmiennicza ruchu, sprytny sposób na wyeliminowanie rozmycia ze zdjęć poruszających się obiektów.

Rozmycie to proces, który miesza informacje, mówi Frédo Durand, profesor nadzwyczajny elektrotechniki i informatyki w MIT, który pomógł rozwinąć ten pomysł. Mówi, że piksele obrazu cyfrowego zachowują się jak kwadraty na szachownicy. Szybko poruszający się czarno-biały wzór szachownicy rozmywa się do szarości, średnio czarnych i białych kwadratów. Ale jeśli dokładnie wiesz, jak przesunięto szachownicę – powiedzmy, obracając ją wokół punktu w środku lub potrząsając nią w górę iw dół – możesz napisać funkcję matematyczną opisującą rozmycie oparte na ruchu. Gdy znasz tę funkcję, możesz ją odwrócić, aby usunąć rozmycie.

Durand i jego współpracownicy – ​​w tym Anat Levin, habilitant i Bill Freeman, profesor elektrotechniki i informatyki z MIT – zaprojektowali aparat, który może wykorzystać tę zasadę do usuwania rozmycia ze zdjęcia obiektu, który się porusza. linia prosta, na przykład samochód pędzący drogą. Kluczem jest zrobienie czegoś sprzecznego z intuicją, mówi Durand: Tworzymy jeszcze rozmycie, przesuwając aparat podczas ekspozycji.

Kamera testowa badaczy ma układ optyczny, który porusza się tam i z powrotem po linii prostej, zamazując cały obraz. Ze względu na sposób, w jaki czujnik porusza się w przód iw tył, podczas naświetlania przynajmniej przez jeden moment aparat będzie doskonale śledził fotografowany obiekt, umożliwiając aparatowi uchwycenie dokładnych informacji o wizualnej strukturze obiektu, niezależnie od jego prędkości. Informacje te umożliwiają naukowcom napisanie równania definiującego rozmycie oparte na ruchu, a następnie wyeliminowanie prędkości z tego równania. Odwracając równanie, mogą zrekonstruować obraz bez żadnego rozmycia (patrz Eliminowanie rozmycia ruchu, s. M14) .

W tym aparacie, w przeciwieństwie do typowego modelu, zadaniem optyki nie jest bezpośrednie tworzenie ostatecznego obrazu, mówi Durand. Zamiast tego w pewnym sensie ma tasować promienie światła, aby to, co jest rejestrowane przez czujnik, dało nam dostęp do większej ilości informacji.

Ostrość dostrajania

Jedną z irytacji telefonów komórkowych i aparatów kompaktowych jest brak kontroli ostrości lustrzanki. W lustrzance jednoobiektywowej obiektyw można przesuwać, aby zmienić ostrość. Regulując przysłonę, fotograf może uzyskać ujęcie, na którym obiekt na pierwszym planie jest wyraźnie ostry, a tło jest celowo rozmyte, aby uwydatnić rozpraszające elementy. Lustrzanki są jednak drogie i trudne w obsłudze dla amatorów. Badacze zajmujący się fotografią obliczeniową próbują opracować prosty aparat do telefonu komórkowego ze stałym obiektywem, który ułatwi każdemu osiągnięcie takich efektów. Mają również nadzieję, że fotografowie będą mogli wybrać obiekty, na których mają ustawić ostrość po zrobieniu zdjęcia.

Kamery są zaprojektowane tak, aby skupiać się na obiektach w określonym zakresie. Gdy kamera skupia się na określonym obiekcie, obiektyw koncentruje światło odbijające się od tego obiektu na matrycy czujników. Światło odbijające się od obiektów, na których nie ma ostrości, nadal dociera do czujników, ale jest nieskoncentrowane, co powoduje rozmycie obrazu. Jeśli kamera nie jest idealnie zogniskowana, mówi Durand, obiektyw będzie rzutował punkty ze sceny na czujnik jako dyski, a nie punkty.

Jeśli znane są odległości między aparatem a obiektami na obrazie, do danych obrazu można zastosować algorytm, aby wyostrzyć nieostre części obrazu, przekształcając rozmyte dyski światła w skupione punkty. Jednak konwencjonalne kamery nie są w stanie samodzielnie określić tych informacji o głębokości.

Aby wydobyć informacje o głębi ze zdjęcia, Durand, Freeman i inni koledzy zmodyfikowali istniejący obiektyw z maską włożoną w aperturę. Zasadniczo maska ​​to kawałek tektury, który blokuje część światła, aby subtelnie zmienić wygląd nieostrych części obrazu. Durand wyjaśnia, że ​​niezróżnicowane rozmycie spowodowane zwykłym obiektywem nieostrym nie dostarcza wystarczających wskazówek, które można wykorzystać do zrekonstruowania wyraźnego obrazu. Ale ich maska ​​zmienia to jednolite rozmycie w coś, co nazywa dziwnym, ale uporządkowanym bałaganem. Smugi i inne niezwykłe cechy rozmytego obrazu pomagają naukowcom odzyskać informacje o głębi: dzięki sposobowi, w jaki maska ​​blokuje światło w aperturze kamery, obiekt oddalony o 10 stóp od kamery będzie rozmyty inaczej niż obiekt oddalony o pięć cali. Ponieważ znają kształt maski, naukowcy byli w stanie matematycznie zdefiniować rozmycie związane z każdą głębokością, umożliwiając im opracowanie algorytmu, który może to cofnąć (patrz fotografie konwencjonalnych i kodowanych apertur oraz Extracting Depth Information, str. M15) .

Inna strategia poprawy ostrości, szczególnie w prostej kamerze telefonu komórkowego, jest podobna do techniki Duranda dotyczącej rozmycia ruchu. Duży rozmiar przysłony lustrzanki jednoobiektywowej zapewnia małą głębię ostrości (zakres odległości od aparatu, w których obiekty są wyraźnie wyostrzone), co umożliwia ustawienie ostrości na konkretnym obiekcie i umożliwienie tłu, pierwszemu planowi, a nawet jednemu i drugiemu. cofnąć się, wyjaśnia Raskar. Ale zdjęcia zrobione zwykłymi aparatami do telefonów komórkowych, które mają bardzo małe apertury, wydają się płaskie, ponieważ wszystko wygląda tak, jakby znajdowało się w tej samej odległości od aparatu. Na pierwszej Międzynarodowej Konferencji IEEE na temat Fotografii Komputerowej, która odbyła się w San Francisco w kwietniu, podoktor Ankit Mohan przedstawił artykuł, który napisał wraz z Raskarem i innymi osobami, opisując technikę symulacji obiektywu o większym rozmiarze apertury. Zademonstrowali, jak można zaprojektować aparat ze stałym obiektywem, tak aby zarówno jego obiektyw, jak i czujnik poruszały się nieznacznie podczas naświetlania. Zmieniając prędkość i zakres ruchu, mogą w efekcie zmieniać ogniskową i rozmiar przysłony, aby kontrolować, która część zdjęcia jest ostra; reszta jest celowo zamazana (patrz Kontrola ostrości w aparatach z obiektywami stałymi, str. M15) . Taka technologia mogłaby dać taniej kamerze do telefonu komórkowego kontrolę ostrości w lustrzance.

Dostosowywanie oświetlenia, perspektywa

Lepsze ogniskowanie to dopiero początek; fotografia obliczeniowa może również umożliwić ludziom dostosowanie oświetlenia sceny, a nawet zmianę perspektywy aparatu po zrobieniu zdjęcia. To jest rodzaj sztuczki, którą umożliwia widzenie komputerowe. To trudne, jeśli twój komputer rozumie obraz tylko na poziomie pikseli, mówi Freeman. Ale jeśli możesz dać komputerowi zrozumienie tego obrazu pod kątem pojęć wyższego poziomu, takich jak oświetlenie lub kształt, możesz pozwolić użytkownikowi dostosować pokrętła kontrolujące te wielkości.

To zrozumienie wyższego poziomu pochodzi z algorytmów analizy obrazu, które pozwalają komputerowi zobaczyć elementy obrazu. Na przykład algorytm może określić, które elementy obrazu są spowodowane kolorem powierzchni obiektu, a które modulacją światła odbijanego przez jego kształt. Gdy już to wiadomo, użytkownik może niezależnie dostosować kolorystykę powierzchni i efekty świetlne. Celem jest zbudowanie systemu, który może zidentyfikować, powiedzmy, gdzie kończy się krawędź ciemnego kawałka żebra, a zaczyna cień rzucany na talerz.

Takie techniki, mówi Raskar, mogą ujawnić szczegóły – takie jak subtelna mimika twarzy – które wcześniej byłyby przesłonięte cieniami. Krótko mówiąc, kamery będą w stanie dokładniej uchwycić istotę sceny. Kiedy idziesz ulicą z przyjacielem, możesz być w dowolnym oświetleniu i możesz zobaczyć, jak piękna jest ta osoba – mówi. W tej chwili fotografia nie może tego zrobić. Ale techniki obliczeniowe zmniejszają przepaść, która wciąż oddziela oko i mózg od kamery. Mówi, że za dziesięć lat może to być dokładnie to, co może zrobić fotografia.

ukryć