Aparat, który widzi jak ludzkie oko

Siatkówka jest niezwykle potężnym narzędziem. Sortuje ogromne ilości danych, wykorzystując jedynie ułamek mocy, jakiej wymagałby konwencjonalny aparat cyfrowy i komputer do wykonania tego samego zadania.

Wizja dynamiczna: Siła aparatu tkwi w uchwyceniu ruchu, jak widoczne tu krople mleka.

Teraz inżynierowie w firmie o nazwie iniLabs w Szwajcarii stosują lekcje z biologii, starając się zbudować wydajniejszy aparat cyfrowy inspirowany ludzką siatkówką.

Podobnie jak pojedyncze neurony w naszych oczach, nowa kamera — nazwana Dynamic Vision Sensor (DVS) — reaguje tylko na zmiany w danej scenie. Takie podejście eliminuje duże ilości zbędnych danych i może być przydatne w wielu dziedzinach, w tym w nadzorze, robotyce i mikroskopii.

Twoje oko i moje oko też są aparatami cyfrowymi. [Są] po prostu innym rodzajem aparatu cyfrowego, mówi Tobi Delbruck, dyrektor ds. naukowych w iniLabs. Mieliśmy wizję maszynową, która była jak najlepsza przy istniejącej architekturze i sprzęcie. Ale w porównaniu z biologią widzenie maszynowe jest żałośnie słabe.

Zwykła kamera przyjmie wszystko, co zobaczy, przechowując informacje do późniejszego przetworzenia. To zużywa dużo energii i dużo miejsca. Neurony w oku działają jednak tylko wtedy, gdy wyczują zmianę — na przykład, gdy dana część sceny staje się jaśniejsza lub ciemniejsza. DVS naśladuje tę selektywność, przesyłając informacje tylko w odpowiedzi na zmianę sceny. Wymaga to mniejszej mocy i pozostawia mniej informacji do przetworzenia.

Sztuczna siatkówka: Dynamiczny czujnik wizyjny (DVS) reaguje tylko na zmiany w scenie, eliminując duże pokosy nieistotnych danych.

Ta funkcja może być szczególnie przydatna do nagrywania scen, które nie zmieniają się często. Na przykład, kiedy badacze snu nagrywają na wideo swoich pacjentów, są później zmuszeni przeczesywać godziny niezakłóconego materiału filmowego. W przypadku czujnika takiego jak DVS ważne, aktywne fragmenty danych są automatycznie podświetlane.

Piksele w DVS naśladują również sposób, w jaki pojedynczy neuron oka kalibruje się do określonej lokalizacji: ta komórka i osoby odpowiedzialne za inny obszar będą reagować na przychodzące dane w nieco inny sposób, więc jeden neuron może być bardzo wrażliwy na dane wejściowe, podczas gdy inny potrzebuje więcej stymulacji do ognia. Podobnie każdy piksel DVS dostosowuje własną ekspozycję. Pozwala to DVS radzić sobie z nierównymi warunkami oświetlenia, choć wymaga również ogromnych pikseli, które są 10 razy większe od tych w nowoczesnym aparacie w telefonie komórkowym.

DVS został stworzony do pracy z nową architekturą komputerową IBM TrueNorth (zobacz IBM Researchers Show Blueprints for Brainlike Computing ). TrueNorth to podejście do programowania, które naśladuje biologię — informacje są przechowywane, przetwarzane i udostępniane w sieci neuromorficznych chipów komputerowych, inspirowanych sieciami neuronowymi w mózgu.

To, o czym mówimy – kamery wysyłające informacje, gdy coś się zmienia – jest w rzeczywistości bardzo centralnym tematem tego, jak działa mózg, a przynajmniej jak uważają neurolodzy, że działa, mówi Nabil Imam , informatyk z Cornell University, który jest częścią zespołu Cornell, który pomógł IBM opracować chipy neuromorficzne. Rejestrujemy cechy mózgu na wysokim poziomie.

Delbruck i jego zespół wierzą, że łącząc kamerę z architekturą TrueNorth, osiągną urządzenie, które lepiej radzi sobie z dynamicznymi problemami w czasie rzeczywistym.

DVS jest do kupienia za około 2700 dolarów i został wykorzystany w kilku projektach badawczych, w tym w jednym, który rejestrował ruch i innym, który obejmował śledzenie cząstek w płynie. Zespół planuje dalsze ulepszanie urządzenia. Kolejne cele to dodanie czułości kolorów i powiększenie siatkówki aparatu z obecnej rozdzielczości 240x180.

ukryć