Jak zmodyfikować aparat w smartfonie, aby robił milion klatek na sekundę?

xiaojie2020

W latach 30. młody inżynier elektryk Harold Edgerton zaczął eksperymentować z fotografowaniem z użyciem elektronicznej lampy błyskowej w MIT. Słynnie używał go do zamrażania akcji przedmiotów codziennego użytku, takich jak strumień wody, pękający balon czy kula trafiająca w jabłko.

Edgerton był pionierem w szerokim zakresie technik jedno- i wielobłyskowych (a także wielu innych technik obrazowania). Wiele z nich jest teraz dostępnych w standardzie w popularnych aparatach i smartfonach.

Od tego czasu czasy otwarcia migawki wzrosły. Niektóre iPhone'y mogą robić pojedyncze zdjęcia z szybkością migawki 1/10 000 sekundy. Kamery specjalistyczne mogą rejestrować obrazy z szybkością 40 000 na sekundę. Ale ten rodzaj sprzętu jest skomplikowany i drogi, więc te techniki są niedostępne dla większości ludzi.

Dziś wygląda na to, że zmieni się to dzięki pracy Sama Dillavou z Uniwersytetu Harvarda i kilku współpracowników, którzy opracowali technikę, która pozwala zwykłym aparatom elektronicznym i smartfonom rejestrować obrazy z zapierającą dech w piersiach szybkością milionów klatek na sekundę.

Najpierw trochę tła. Nowoczesne aparaty wykorzystują elektroniczne piksele do rejestrowania światła, które w nie pada. Te piksele rejestrują intensywność, zwykle w skali 16 poziomów. Jest to określane przez poziom bitów pikseli. Tak więc podczas ekspozycji każdy piksel może zarejestrować 14 odcieni szarości między czernią a bielą.

Jednak w przypadku wielu rodzajów obrazowania ten poziom szczegółowości jest niepotrzebny — wystarczy zwykły czarno-biały obraz. W takim przypadku dodatkowy szary szczegół jest zbędny.

To dało Dillavou i współpracownikom pomysł na rozdzielenie pojedynczych zdjęć na wiele krótszych ekspozycji.

Oto jak. Wyobraź sobie białą ścianę pokrytą czarną zasłoną. Teraz otwórz zasłonę od lewej do prawej, aby odsłonić ścianę i zarejestruj ruch w jednej ekspozycji.

Podczas ekspozycji piksele po lewej stronie obrazu najpierw rejestrują czarną kurtynę, a następnie białą ścianę, gdy kurtyna przesuwa się po kadrze. To uśrednia się do jasnoszarego.

Natomiast piksele rejestrujące prawą stronę obrazu widzą czarną kurtynę przez większość ekspozycji. Dopiero pod koniec ekspozycji odsłania się biała ściana. W takim przypadku średnia jest ciemnoszara.

Podobnie piksele w środku obrazu zarejestrują średnią szarość. Ostateczny obraz ma postać stopniowanej szarości, która reprezentuje ruch kurtyny.

Kluczową ideą Dillavou i współpracowników jest to, że ten pojedynczy obraz można traktować jako wiele czarno-białych ujęć ruchomej kurtyny nałożonych na siebie. Rzeczywiście, liczba obrazów, które można wydobyć z jednego obrazu, zależy od liczby poziomów bitowych rejestrowanych przez piksele.

Uzbrojeni w tę wiedzę opracowali matematyczną technikę wyodrębniania tych obrazów z jednego obrazu, co nazywają techniką wirtualnej klatki. W tym przypadku może stworzyć 16 obrazów kurtyny poruszającej się po ścianie.

Ta technika ma potencjał, aby zmienić prawie każdy aparat elektroniczny w superszybki cud. Zespół przetestował to, porównując wirtualne klatki z tymi zrobionymi przez szybką kamerę nagrywającą z prędkością 40 000 klatek na sekundę.

Umieścili rozciągnięty arkusz gumy przed rozdzielaczem wiązki, który wysyłał światło do obu kamer, więc obie miały ten sam widok arkusza. Zespół ustawił oświetlenie tak, aby gumowa płachta była czarna, a tło białe. Użyli skalpela, aby naciąć gumowy arkusz i zarejestrowali sposób, w jaki pęka obiema kamerami, gdy pęknięcie biegło po arkuszu.

Wreszcie zespół wykorzystał technikę wirtualnej klatki, aby wyodrębnić obrazy z dużą liczbą klatek na sekundę i porównać je z obrazami z szybkiej kamery fotografującej z prędkością 40 000 klatek na sekundę. Film z tego porównania jest do pobrania tutaj .

Wyniki pokazują, że technika wirtualnej ramki ma ogromny potencjał. Po pierwsze, oba zestawy obrazów pokazują podobny proces pękania, co potwierdza słuszność tego podejścia. Ale ma też szereg istotnych zalet. Zapisuje 1,3 megapiksela na każdym zdjęciu, w porównaniu z 60 kilopikselami standardowego aparatu. To drastycznie zwiększa pole widzenia, a tym samym odległość, na której można zarejestrować pęknięcie.

Wirtualna liczba klatek na sekundę jest również znacznie szybsza. Efektywna liczba klatek na sekundę osiągnięta przy użyciu [techniki wirtualnego kadrowania] wynosi 1 MHz, powiedzmy Dillavou i spółka.

Następnie badają, w jaki sposób zastosowanie nowej techniki w różnych aparatach zwiększa ich liczbę klatek na sekundę. Liczby otwierają oczy. Jako przykład mówią, że Nikon D850 rejestruje wirtualne klatki z częstotliwością 16 MHz przy zachowaniu rozdzielczości powyżej 50 Mpx. Nawet iPhone X jest w stanie nagrywać z prędkością do miliona klatek na sekundę przy użyciu tej techniki.

Nie ma powodu, by sądzić, że nie da się tym łatwo zarządzać, ponieważ całe przetwarzanie odbywa się później. Zdaniem zespołu ta zwiększona liczba klatek na sekundę nie wymaga żadnych zmian w działaniu kamery.

Istnieją jednak pewne ważne ograniczenia dotyczące rodzajów zjawisk, które można w ten sposób rejestrować. Po pierwsze, obiekt zainteresowania musi być czarny na białym tle (lub odwrotnie). Wszelkie szarości na scenie zrujnują wyniki.

A samo zjawisko musi być tym, co Dillavou i współpracownicy nazywają monotonicznym. Innymi słowy, każda zmiana podczas ekspozycji musi przejść od czerni do bieli (lub odwrotnie), ale nie z powrotem. W przykładzie z zasłoną technika wirtualnej ramy działa, gdy zasłona porusza się w jednym kierunku, ale nie, gdy porusza się w przód iw tył.

Niemniej jednak technika wirtualnej ramki jest znaczącym postępem w fotografii. Ma potencjał, aby zmienić aparat smartfona w tylnej kieszeni w szybki rejestrator, który zaimponowałby nawet doktorowi Edgertonowi.

Nr ref.: arxiv.org/abs/1811.02936 : Technika wirtualnej ramki: ultraszybkie obrazowanie dowolną kamerą

ukryć