Algorytmy czytania w myślach rekonstruują to, co widzisz, korzystając z danych skanowania mózgu

Porównanie technik rekonstrukcji obrazu mózgu. Oryginalne obrazy są wyświetlane w górnym rzędzie, podczas gdy wyniki nowego głębokiego generatywnego modelu multivew są wyświetlane w dolnym rzędzie.

Jednym z ciekawszych celów neuronauki jest rekonstrukcja postrzeganych obrazów poprzez analizę skanów mózgu. Chodzi o to, aby dowiedzieć się, na co ludzie patrzą, monitorując aktywność w korze wzrokowej.

Trudność polega oczywiście na znalezieniu sposobów wydajnego przetwarzania danych ze skanów funkcjonalnego rezonansu magnetycznego (fMRI). Zadanie polega na odwzorowaniu aktywności w trójwymiarowych wokselach wewnątrz mózgu na dwuwymiarowe piksele na obrazie.

To okazuje się trudne. Skany fMRI są znane z szumu, a na aktywność jednego woksela ma wpływ aktywność innych wokseli. Ten rodzaj korelacji jest kosztowny obliczeniowo; w rzeczywistości większość podejść po prostu to ignoruje. A to znacznie obniża jakość rekonstrukcji obrazu, które produkują.

Dlatego ważnym celem jest znalezienie lepszych sposobów analizowania danych ze skanów fMRI, a tym samym tworzenia dokładniejszych rekonstrukcji obrazu mózgu.

Dzisiaj Changde Du z Centrum Badawczego Inteligencji Inspirowanej Mózgiem w Pekinie w Chinach i kilku kumpli twierdzą, że opracowali właśnie taką technikę. Ich sztuczka polega na przetwarzaniu danych przy użyciu technik głębokiego uczenia, które lepiej radzą sobie z nieliniowymi korelacjami między wokselami. Rezultatem jest znacznie lepszy sposób na zrekonstruowanie sposobu, w jaki mózg postrzega obrazy.

Changde i spółka zaczynają od kilku zestawów danych ze skanów fMRI kory wzrokowej człowieka patrzącego na prosty obraz — na przykład pojedynczą cyfrę lub pojedynczą literę. Każdy zestaw danych składa się ze skanów i oryginalnego obrazu.

Zadanie polega na znalezieniu sposobu wykorzystania skanów fMRI do odtworzenia postrzeganego obrazu. W sumie zespół ma dostęp do ponad 1800 skanów fMRI i oryginalnych obrazów.

Traktują to jako proste zadanie głębokiego uczenia się. Wykorzystują 90 procent danych, aby wytrenować sieć, aby zrozumieć korelację między skanem mózgu a oryginalnym obrazem.

Następnie testują sieć na pozostałych danych, przesyłając skany i prosząc o zrekonstruowanie oryginalnych obrazów.

Dużą zaletą tego podejścia jest to, że sieć uczy się, których wokseli użyć do rekonstrukcji obrazu. Pozwala to uniknąć konieczności przetwarzania danych z nich wszystkich.

Uczy się również, w jaki sposób dane z tych wokseli są skorelowane. To ważne, ponieważ jeśli korelacje zostaną zignorowane, w końcu zostaną potraktowane jak szum i odrzucone. Tak więc nowe podejście — tak zwany głęboki generatywny model wielowidokowy — wykorzystuje te korelacje i odróżnia je od rzeczywistego szumu.

Aby ocenić model głębokiego generatywnego multiview, Changde i wsp. porównują jego wyniki z wynikami wielu innych technik rekonstrukcji obrazu mózgu. Robią to za pomocą standardowych metod porównywania obrazów, aby zobaczyć, jak bardzo zrekonstruowane obrazy pasują do oryginałów.

Wyniki stanowią ciekawą lekturę. Na ogół zrekonstruowane obrazy są wyraźnymi reprezentacjami oryginałów. W wielu przypadkach są one znacznie dokładniejsze niż inne techniki.

Potwierdzają to wskaźniki porównania obrazów. Obszerne porównania eksperymentalne pokazują, że nasze podejście może dokładniej rekonstruować obrazy wizualne z pomiarów fMRI, mówią Changde i spółka.

To ciekawa praca o znaczących implikacjach. Umiejętność rekonstrukcji obrazów mózgu jest ważnym krokiem w pracach nad stworzeniem lepszych interfejsów mózg-maszyna. Kolejne kroki obejmą sposoby analizowania bardziej złożonych scen i ruchomych obrazów. Changde i wsp. twierdzą, że ich podejście można również zastosować do innych problemów z kodowaniem mózgu, takich jak zadania dźwiękowe i fizyczne.

Poza tym, kto wie. Stąd już tylko krótki skok wyobraźni do technik skanowania mózgu, które ujawniają, co ludzie myślą lub śnią. Tylko wyobraźnia!

Nr ref.: arxiv.org/abs/1704.07575 : Udostępnianie głębokiej reprezentacji generatywnej dla postrzeganej rekonstrukcji obrazu na podstawie aktywności ludzkiego mózgu

ukryć