Pomaganie głuchym słyszeć muzykę

John Redden jest niesłyszącym zawodowym muzykiem. Potrafi śpiewać na klawiszach, harmonizować na klawiszach i słyszeć interwały muzyczne na tyle dobrze, aby je odtworzyć. Robi to za pomocą implantu ślimakowego, który jest chipem komputerowym chirurgicznie osadzonym w jego czaszce. Chip napędza 16 maleńkich elektrod umieszczonych w jego uchu wewnętrznym, które stymulują nerwy słuchowe. Pobiera dane dźwiękowe z zewnętrznego komputera umieszczonego na jego uchu, który wygląda jak aparat słuchowy. Jednak zamiast wzmacniać dźwięk, digitalizuje go i przesyła drogą radiową do implantu przez skórę.

Test muzyczny: Naukowcy z University of Washington opracowali skomputeryzowany test, aby ocenić, jak dobrze użytkownicy implantów ślimakowych słyszą muzykę. Chad Ruffin, autor kodu testu i użytkownik implantu ślimakowego, pokazuje, w jaki sposób wykonywana jest jedna część testu. Użytkownik słyszy konkretną nutę graną przez dowolny z ośmiu instrumentów i musi zdecydować, który z nich. Ta część testu mierzy zdolność słyszenia barwy, subtelną, ale kluczową różnicę między instrumentami grającymi tę samą nutę.

Technologia jest cudem, ale ludzie tacy jak Redden to tajemnica. Oprogramowanie jest przeznaczone do mowy, więc słucha tylko częstotliwości mowy, a nie znacznie szerszego zakresu zajmowanego przez muzykę. Urządzenie dostarcza ogólny kształt dźwięku, a nie szczegółowe informacje o częstotliwości, które są kluczowe dla odróżnienia jednego tonu od drugiego.

Większość osób z prawidłowym słuchem potrafi odróżnić tony oddalone od siebie o 1,1 półtonu. (Półton jest najmniejszym interwałem tonu w muzyce zachodniej). Jednak badanie przeprowadzone w 2002 roku na Uniwersytecie Iowa wykazało, że większość użytkowników implantów potrafi rozróżnić tony tylko wtedy, gdy są od siebie oddalone o co najmniej 7,6 półtonów.

Poczyniono pewne postępy w pisaniu lepszego oprogramowania do muzyki. Sam jestem użytkownikiem implantu ślimakowego. W 2005 roku wypróbowałem nowe oprogramowanie o nazwie Wierność 120 , który symulował siedem wirtualnych elektrod między każdą elektrodą fizyczną, podobnie jak inżynier dźwięku może sprawić, że dźwięk wydaje się wydobywać z dwóch głośników. Celując w populacje nerwów między każdą elektrodą, oprogramowanie dało mi lepszą rozdzielczość częstotliwości. Dla mnie to zrobiło dużą różnicę. Kiedy gram w to symulacja fortepianu w moim starym oprogramowaniu o nazwie Hi-Res nie mogę odróżnić żadnych trzech sąsiednich klawiszy. Ale z Fidelity 120 mogę. Muzyka jest pełniejsza, bogatsza i bardziej szczegółowa.

Multimedia

• Zobacz części testu CAMP.

Ale nie każdy uzyskuje ten sam wynik. Redden, który muzycznie radzi sobie znacznie lepiej niż ja, wypróbował Fidelity 120, ale nadal woli Hi-Res. Takie różnice między doświadczeniami użytkowników stanowią prawdziwe kłopoty dla badaczy, którzy chcą tworzyć lepsze oprogramowanie. Doświadczenie muzyki jest nieuchronnie subiektywne. Fan Sex Pistols może ci powiedzieć, że dany program pozwala jej lepiej słyszeć anarchię w Wielkiej Brytanii, podczas gdy fan Mozarta może ci powiedzieć, że oprogramowanie nie robi nic dla Mała nocna muzyka . Subiektywne raporty nie dostarczają programistom wystarczających informacji, aby wiedzieć, czy robią postępy.

Zapytałam Sójka Rubinstein , otolaryngologa i badacza implantów ślimakowych z University of Washington, aby wyjaśnić problem. Powiedział mi, że muzyka to nie tylko jeden byt. Składa się z kombinacji rytmu, melodii, harmonii, dysonansu i tekstu. Trzeba go rozłożyć na części składowe, żeby określić, jak dobrze lub słabo ktoś to słyszy.

Rubinstein i jego zespół naukowców z University of Iowa i University of Washington właśnie to robią. Na dorocznym spotkaniu Association for Research in Otolaryngology w Phoenix w dniu 17 lutego zaprezentowano skomputeryzowany test o nazwie Kliniczna ocena percepcji muzyki (OBÓZ). Artykuł opisujący ich pracę właśnie ukazał się w: Otologia i neurotologia lutowy numer.

CAMP omija różnice w gustach, redukując muzykę do trzech podstawowych elementów – wysokości, barwy i melodii – i systematycznie oceniając, jak dobrze każdy z nich odbierają.

Percepcja wysokości tonu jest mierzona, gdy program odtwarza dwa tony w krótkich odstępach czasu i pyta użytkownika, który jest wyższy. Gdy użytkownik ma rację, program nadaje jej tony, które są bliższe sobie. Kiedy nie ma racji, daje jej tony, które są bardziej od siebie oddalone. Po wielu próbach program ustala najbliższy przedział, który może niezawodnie rozróżnić. To stosunkowo łatwy test, ponieważ słuchacz musi jedynie określić, który z dwóch tonów jest wyższy.

Percepcję barwy mierzy się grając tę ​​samą nutę na ośmiu różnych instrumentach. Użytkownik jest proszony o określenie, jaki instrument słyszy. Na przykład podmiot może zostać zapytany, czy dana nuta została zagrana na pianinie, flecie lub saksofonie. Barwa jest prawdopodobnie najtrudniejszym do zdefiniowania aspektem muzyki, ale zapewnia czułą miarę zdolności użytkownika do usłyszenia wyraźnych, ale subtelnych różnic.

Percepcja melodii jest mierzona w bardzo nietypowy sposób. Test wykorzystuje znane melodie, takie jak Frère Jacques i Three Blind Mice. Ale każdy rozpoznałby Frère Jacques z tekstów, więc teksty zostały usunięte. Podobnie jest z rytmem – to znaczy z synchronizacją i czasem trwania nut. Pozostaje sznur równo rozmieszczonych nut o jednakowym czasie trwania: melodia i nic ale melodia.

Byłem jednym z obiektów testowych we wczesnych próbach CAMP. Kiedy po raz pierwszy wziąłem udział w teście, użyłem mojego starego oprogramowania Hi-Res. Testowanie wysokości dźwięku było dość łatwe: większość częstotliwości zidentyfikowałem poprawnie w 75% przypadków. Nie poradziłem sobie tak dobrze w teście barwy, uzyskując około 40 procent poprawnych wyników.

Ale test melodii mnie oszołomił. Już pierwsza melodia brzmiała jak bip bup bip bup bip bip bip bup. Wpatrywałem się w komputer. Co to było do cholery?

Zidentyfikowałem go, wybierając losowo tytuł piosenki, ponieważ nie miałem pojęcia, co to jest, i czekałem na następny utwór. bip bip bip bip bip bip bip bup.

I następny. bip bip bip bip bip bip bip bup.

Czy były w ogóle inne?

Mój wynik wynosił mniej niż 10 procent. Rozmawiałem z Chadem Ruffinem, jednym z projektantów testu, który sam miał implant ślimakowy. Jak dobrze, chciałem wiedzieć, osoba, która słyszy, normalnie poradzi sobie z testem melodii? Około 100 procent, powiedział mi.

Zrobiliśmy test ponownie z Fidelity 120. Tym razem poradziłem sobie lepiej w teście melodii, zdobywając około 20 procent. To było bliższe średniemu wynikowi, który, jak powiedział mi Rubinstein, wynosił 25 procent.

Ale John Redden poradził sobie znacznie lepiej. Redden dał mi swój wynik na teście melodii: 100 procent. Dla użytkownika implantu ślimakowego był to niesamowity wynik. Posiadanie profesjonalnie wyszkolonego mózgu do muzyki prawdopodobnie pomogło. Richard Reed, muzyk, który stracił słuch w wieku 37 lat i dostał implant w wieku 46 lat, zdobył 86 procent. Tylko garstka badanych uzyskała wyniki w tym zakresie.

Rubinstein mówi, że ludzie tacy jak Redden i Reed są dowodem na to, co jest możliwe. Powiedział mi, że nie chcę prowadzić ludzi do nierealistycznych oczekiwań dotyczących możliwości słuchania muzyki za pomocą implantu ślimakowego, ale w rzeczywistości wyniki są lepsze niż się spodziewamy. Oczywiście byli też ci, którzy osiągnęli wysokie wyniki, ale nawet wielu z tych, którzy osiągnęli niskie wyniki w teście melodii, nadal dobrze radziło sobie w teście percepcji wysokości tonu, tak jak ja.

Wyniki sugerowały, że pojawiła się rodząca się zdolność do postrzegania boisku, czekająca na wykorzystanie przez lepsze oprogramowanie i lepszy trening. Na przykład laboratorium Rubinsteina eksperymentowało z algorytmem wykorzystującym zjawisko zwane rezonansem stochastycznym w celu poprawy percepcji muzyki.

Uświadomiłem sobie, że był dobry powód, dla którego test melodii był trudny. Nie był to test niemożliwy dla użytkowników implantów, a jedynie bardzo trudny test. Był to prosty, łatwy w użyciu i niezawodny test, który pozwolił naukowcom obiektywnie zmierzyć wydajność nowych algorytmów. (Artykuł zawierający dane na temat większej grupy osób i wykazujący wiarygodność testu-retestu jest obecnie w trakcie przeglądu, mówi Rubinstein.)

Test pozwala również badanym mierzyć postępy w czasie. Jeśli w ciągu 10 lat wyniki się podwoją, oznacza to, że użytkownicy implantów naprawdę są lepiej słyszeć podstawowe elementy muzyki.

Test ułatwiłby również naukowcom analizę wydajności supersłuchaczy, takich jak John Redden, aby ostatecznie mogli opracować nowe oprogramowanie, które pozwoli innym niesłyszącym lepiej słyszeć muzykę.

Michael Chorost obejmuje wszczepione technologie dla Przegląd technologii . Jego książka, Przebudowa: jak stawanie się częścią komputera uczyniło mnie bardziej człowiekiem? , wyszedł w 2005 roku.

ukryć