Kamera jednopikselowa osiąga kamień milowy, naśladując ludzką wizję

Obrazowanie komputerowe przechodzi rewolucję. Jest to dyscyplina tworzenia obrazów przy użyciu technik obliczeniowych, a nie optycznych. Najbardziej znanym przełomem jest możliwość nagrywania obrazów i filmów w wysokiej rozdzielczości przy użyciu jednego piksela. Ale naukowcy wykorzystali go również do budowy kamer bezobiektywowych, systemów obrazowania 3D i nie tylko.

Dziś posuwają tę technikę jeszcze dalej, używając jej do naśladowania sposobu, w jaki ludzie widzą świat. David Phillips z University of Glasgow i kilku kumpli twierdzą, że znaleźli sposób na wykorzystanie pojedynczego piksela do tworzenia obrazów, w których centralny obszar jest rejestrowany w wysokiej rozdzielczości, a obrzeża są rejestrowane w niskiej rozdzielczości. To dokładnie naśladuje systemy widzenia zwierząt, w których siatkówka ma centralny obszar wysokiej ostrości wzroku zwany dołkiem otoczony obszarem o niższej rozdzielczości.

Zespół pokazał nawet, jak poruszać uwydatnionym regionem, aby podążać za obiektami w polu widzenia. Technika ta może zmienić sposób działania wielu systemów obrazowania w przyszłości.

Najpierw trochę tła. Pojedynczy pikselowy system obrazowania rejestruje światło ze sceny w jednym punkcie. To światło musi być w jakiś sposób losowe, na przykład przepuszczając je przez matowe szkło lub odbijając je od losowo ułożonej matrycy mikroluster.

Łatwo pomyśleć, że niewiele można zyskać, rejestrując w ten sposób losowe światło. Sztuczka polega oczywiście na zrobieniu w ten sposób wielu obrazów jednopikselowych. Chociaż każdy punkt danych wydaje się być losową próbką światła, kolejne punkty danych są skorelowane, ponieważ są odbiciami od tej samej sceny.

Tak więc sztuczka stojąca za obrazowaniem obliczeniowym polega na użyciu algorytmu eksploracji danych w celu znalezienia korelacji między kolejnymi obrazami. Odrobina chrupania liczb może następnie odtworzyć oryginalną scenę.

Okazuje się, że jest to stosunkowo proste, pod warunkiem, że światło ze sceny jest odpowiednio losowane za każdym razem, gdy piksel je rejestruje. Rozdzielczość końcowego obrazu zależy wtedy od liczby punktów danych użytych do jego utworzenia.

Innymi słowy, każdy punkt danych może być traktowany jako rejestrujący piksel na końcowym obrazie. To właśnie ta idea pozwala Phillipsowi i spółce zmieniać rozdzielczość w całym obrazie.

Ci faceci używają cyfrowej matrycy mikrolustra, aby losować światło ze sceny docierając do ich jednopikselowego detektora światła. Ale są również w stanie kontrolować rozdzielczość randomizacji w tej macierzy. Dzięki temu mogą używać randomizacji o wysokiej rozdzielczości w częściach sceny, aby zwiększyć rozdzielczość końcowego obrazu. To jest foveated obraz

Ich matryca mikroluster może wyświetlać około 10 000 losowych wzorów na sekundę, co pozwala im generować obrazy 32 x 32 piksele z szybkością około 10 na sekundę.

Na początek piksele są kwadratowe i równe w każdym obrazie 32 x 32. Ale faveated obraz ma mniejsze, gęściej upakowane piksele w środku i większe piksele na obrzeżach.

Phillips i spółka osiągają to, losując światło ze sceny o wyższej rozdzielczości w środku obrazu.

A wyniki są imponujące. Zespół pokazuje, że uzyskane obrazy mają wyraźnie wyższą rozdzielczość w środku. Wykazaliśmy, że zdolność zbierania danych przez jednopikselowy system obrazowania obliczeniowego można zwiększyć, naśladując adaptacyjną wizję, która jest szeroko rozpowszechniona w królestwie zwierząt.

Ale pokazują również, jak można przesuwać dołek, aby śledzić interesujące obiekty z jednego obrazu na drugi. Pokazują nawet, w jaki sposób możliwe jest posiadanie dwóch dołków na jednym obrazie, aby śledzić dwa różne obiekty, tym samym wykraczając poza możliwości świata zwierząt. I demonstrują technikę zarówno w świetle widzialnym, jak i podczerwonym.

To interesująca praca, która ma kilka ważnych potencjalnych zastosowań. Najbardziej oczywistym jest dla systemów obrazowania, w których macierze pikseli nie są praktyczne. Na przykład pojedyncze piksele są dostępne dla częstotliwości terahercowych, ale macierze pikseli nie.

Ale technika ma bardziej ogólne zastosowanie. We wszystkich systemach obrazowania istnieje kompromis między rozdzielczością a liczbą klatek na sekundę. Ta technika umożliwia optymalizację tego kompromisu w locie i pozwala skupić uwagę na częściach obrazu, które są najbardziej interesujące.

Mogłoby to być znacznie potężniejsze, gdyby połączyć je z innymi technikami widzenia maszynowego, algorytmy zaczęły przewyższać ludzi w zadaniach, takich jak rozpoznawanie twarzy i obiektów.

Ludzie i zwierzęta od dawna przewyższają maszyny w zadaniach widzenia. Ale przy takich technikach to mistrzostwo nie potrwa długo.

Nr ref.: arxiv.org/abs/1607.08236 : Adaptacyjne, zaawansowane obrazowanie pojedynczych pikseli z dynamicznym superpróbkowaniem

ukryć