Naukowcy znaleźli sposób na dekodowanie sygnałów mózgowych na mowę

Koncepcyjna ilustracja fal mózgowych i mowy Nick Mały

Nie musisz o tym myśleć: kiedy mówisz, twój mózg wysyła sygnały do ​​twoich ust, języka, szczęki i krtani, które współpracują ze sobą, aby wytworzyć zamierzone dźwięki.

Teraz naukowcy z San Francisco twierdzą, że wykorzystali te sygnały mózgowe, aby stworzyć urządzenie zdolne do wypluwania pełnych fraz, takich jak „Nie zmywaj brudnych naczyń Charliego” i Sprzęt krytyczny wymaga odpowiedniej konserwacji.

Badania są krokiem w kierunku systemu, który byłby w stanie pomóc poważnie sparaliżowanym ludziom mówić – a być może pewnego dnia gadżety konsumenckie, które pozwolą każdemu wysłać wiadomość prosto z mózgu .

Zespół kierowany przez neurochirurga Edwarda Changa z Uniwersytetu Kalifornijskiego w San Francisco zarejestrował wyniki badań mózgów pięciu osób z padaczką, które już przechodziły operację mózgu, wypowiadając je z listy 100 fraz.

Kiedy zespół Changa przekazał następnie sygnały do ​​komputerowego modelu ludzkiego układu głosowego, wygenerował syntezowaną mowę, która była mniej więcej w połowie zrozumiała.

Próbka mowy wygenerowana przez dekodowanie sygnałów mózgowych pacjenta.

Wysiłek nie skupia się na abstrakcyjnych myślach, ale zamiast tego nasłuchuje, jak nerwy działają, gdy mówią twoim narządom głosowym, aby się poruszały. Wcześniej naukowcy wykorzystywali takie sygnały motoryczne z innych części mózgu do kontrolowania ramion robotów.

„Dotykamy części mózgu, które kontrolują te ruchy — staramy się dekodować ruchy, a nie bezpośrednio mowę”, mówi Chang.

W eksperymencie Changa sygnały rejestrowano za pomocą elastycznej podkładki elektrod zwanej matrycą elektrokortykograficzną (ECoG), która spoczywa na powierzchni mózgu.

Aby sprawdzić, jak dobrze można wykorzystać sygnały do ​​odtworzenia tego, co powiedzieli pacjenci, naukowcy odtworzyli zsyntetyzowane wyniki osobom zatrudnionym na stronie internetowej Mechanical Turk, która próbowała przepisać je za pomocą puli możliwych słów. Ci słuchacze mogli zrozumieć średnio około 50 do 70% słów.

Jest to prawdopodobnie najlepsza praca wykonywana obecnie w BCI [interfejsach mózg-komputer], mówi Andrew Schwartz, badacz takich technologii z University of Pittsburgh. Mówi, że gdyby naukowcy umieścili sondy w tkance mózgowej, a nie tylko na mózgu, dokładność mogłaby być znacznie większa.

Wcześniejsze wysiłki miały na celu zrekonstruowanie słów lub dźwięków słów z sygnałów mózgowych. Na przykład w styczniu tego roku naukowcy z Columbia University zmierzyli sygnały w słuchowej części mózgu, gdy badani słyszeli, jak ktoś inny wypowiada liczby od 0 do 9. Następnie byli w stanie określić, jaka liczba została usłyszana.

Interfejsy mózg-komputer nie są jeszcze wystarczająco zaawansowane ani wystarczająco proste, aby pomóc ludziom, którzy są sparaliżowani, chociaż jest to cel naukowców.

W zeszłym roku inny badacz z UCSF rozpoczął rekrutację osób z ALS lub chorobą Lou Gehriga, aby otrzymać implanty ECoG. To badanie będzie próbą syntezy mowy, zgodnie z opisem badania, a także poproszeniem pacjentów o kontrolowanie egzoszkieletu podtrzymującego ich ramiona.

Chang mówi, że jego własny system nie jest testowany na pacjentach. I pozostaje niejasne, czy zadziałałoby to u osób, które nie mogą poruszać ustami. Zespół UCSF twierdzi, że ich konfiguracja nie działała tak dobrze, gdy poprosili mówców, aby po cichu wypowiadali słowa zamiast mówić je na głos.

Niektóre firmy z Doliny Krzemowej powiedziały, że mają nadzieję na opracowanie komercyjnych czytników mózgu wykorzystujących myślenie na tekst. Jeden z nich, Facebook, twierdzi, że finansuje powiązane badania w UCSF, aby zademonstrować pierwszy interfejs cichej mowy, który jest w stanie pisać 100 słów na minutę, według rzecznika.

Facebook nie zapłacił za obecne badanie, a UCSF odmówił opisania, jakie dalsze badania prowadzi w imieniu giganta mediów społecznościowych. Ale Facebook twierdzi, że widzi, że wszczepiony system jest krokiem w kierunku urządzenia konsumenckiego, które chce stworzyć.

Cel ten jest dobrze zgodny z misją UCSF polegającą na opracowaniu wszczepialnej protezy komunikacyjnej dla osób, które nie potrafią mówić – misji, którą wspieramy. Facebook nie opracowuje produktów, które wymagają urządzeń wszczepialnych, ale badania w UCSF mogą wpłynąć na badania nad technologiami nieinwazyjnymi, podała firma.

Chang mówi, że nie zna żadnej technologii, która mogłaby działać poza mózgiem, gdzie sygnały mieszają się ze sobą i stają się trudne do odczytania.

Badanie, które przeprowadziliśmy, dotyczyło osób poddanych neurochirurgii. Naprawdę nie zdajemy sobie sprawy z obecnie dostępnej nieinwazyjnej technologii, która mogłaby pozwolić na zrobienie tego spoza głowy – mówi. Uwierz mi, gdyby istniał, miałby głębokie zastosowania medyczne.

ukryć