Sztuczna krtań śledząca język

Naukowcy z RPA pracują nad nowym rodzajem sztucznej krtani, która nie będzie miała chrapliwego głosu istniejących urządzeń. System śledzi kontakt między językiem a podniebieniem, aby określić, które słowo jest wypowiadane ustami, i wykorzystuje syntezator mowy do generowania dźwięków.

Nawiązanie kontaktu: Palatometr na górnym obrazie jest zwykle używany w terapii logopedycznej. Naukowcy z Republiki Południowej Afryki szkolą urządzenie w rozpoznawaniu słów wypowiadanych przez osoby, którym usunięto krtań. Wykres czasoprzestrzenny na dolnym obrazku odpowiada wzorcowi kontaktu język-podniebienie dla słowa „be”.

Według Narodowy Instytut Raka , każdego roku u około 10 000 Amerykanów diagnozuje się raka krtani, a większość pacjentów z zaawansowanym rakiem musi mieć usuniętą skrzynkę głosową.

Wszystkie obecnie dostępne urządzenia wytwarzają tak zły dźwięk – albo brzmi jak robota, albo ma szorstki głos, mówi Megan Russell, doktorantka z Uniwersytet Witwatersrand w Johannesburgu w RPA. Czuliśmy, że technologia jest dostępna dla rozwiązania sztucznego syntetycznego głosu.

System wykorzystuje palatometr: urządzenie, które przypomina płytkę ortodontyczną i jest zwykle używane do terapii mowy. Urządzenie wykonane przez Kompletna mowa Orem, UT, śledzi kontakt między językiem a podniebieniem za pomocą 118 wbudowanych czujników dotykowych. Oprogramowanie sztucznej krtani zostało napisane przez Russella i współpracowników z Uniwersytetu Witwatersrand. Ich prace prezentowane są na Międzynarodowa Konferencja Inżynierii Biomedycznej i Farmaceutycznej w tym tygodniu w Singapurze.

Aby korzystać z urządzenia, osoba wkłada palatometr do ust i normalnie wypowiada słowa. System próbuje przełożyć te ruchy ust na słowa, zanim odtworzy je na małym syntezatorze dźwięku, być może schowanym w kieszeni koszuli.

Do tej pory Russell nauczyła system rozpoznawania 50 popularnych angielskich słów, wypowiadając je wiele razy z palatometrem w ustach. Informacje można przedstawić na binarnym wykresie czasoprzestrzeni i umieścić w bazie danych. Za każdym razem, gdy użytkownik mówi, wzorce kontaktów są porównywane z bazą danych, aby zidentyfikować właściwe słowo.

Zespół Russella przetestował system identyfikacji słów przy użyciu różnych technik. Jedno podejście obejmuje wyrównanie i uśrednienie danych uzyskanych podczas uczenia urządzenia dla kilku wystąpień słowa w celu utworzenia szablonu do porównania. Inny porównuje takie cechy, jak obszar wykresów danych na wykresie oraz środek masy na osiach X i Y. System głosowania porównuje wyniki wybranych metod, aby zobaczyć, czy istnieje zgoda. Naukowcy przetestowali również system analizy predykcyjnej, który uwzględnia ostatnie wypowiedziane słowo, aby pomóc określić następne.

Russell mówi, że po połączeniu elementów głosowania i przewidywania system identyfikuje prawidłowe słowo w 94,14% przypadków, chociaż nie obejmuje to słów, które system klasyfikuje jako nieznane i decyduje się pominąć. Russell twierdzi, że zdarza się to w około 18% przypadków. Ale wybór niewłaściwego słowa może prowadzić do bardzo trudnych sytuacji społecznych, mówi Russell, więc najlepiej, aby system odrzucał niejasne słowa i milczał.

Zespół ma nadzieję na wyeliminowanie kabli taśmowych palatometru, które wychodzą z ust użytkownika, i stworzenie zamiast tego systemu, w którym dane są przesyłane bezprzewodowo z palatometru do syntezatora mowy. Grupa musi również udoskonalić system analizy predykcyjnej i rozbudować bazę słów.

Zespół Russella będzie musiał również przetestować o wiele więcej przedmiotów, w tym te bez krtani, zanim urządzenie stanie się powszechnie dostępne.

Zamierzamy również wprowadzić w pewnym stopniu kontrolowaną przez użytkownika modulację wysokości i głośności, aby uzyskać bardziej naturalny dźwięk, mówi David Rubin, adiunkt na wydziale inżynierii elektrycznej i informatycznej na Uniwersytecie Witwatersrand i jeden z doradców Russella ds. projekt. Na przykład, chcemy, aby użytkownik był w stanie osiągnąć typowe przegięcie głosu w górę podczas zadawania pytania w porównaniu z wypowiadaniem się.

Dla zespołu ważna jest również poprawa szybkości przetwarzania urządzenia. Zidentyfikowanie i odtworzenie właściwego słowa zajmuje teraz więcej niż sekundę. Ostatecznie czas ten należy skrócić do poniżej 0,3 sekundy, aby obserwatorom wydawało się, że usta i głos danej osoby są zsynchronizowane, mówi Russell.

Naukowcy z University of Hull w Wielkiej Brytanii badają inne podejście do problemu. Umieszczają w ustach magnesy, które mierzą zmiany pola magnetycznego wokół ust, które odpowiadają ruchowi. Obecnie naukowcy z Hull używają kleju chirurgicznego do przymocowania sześciu magnesów do ust, gardła i języka. Ostatecznie magnesy zostaną wszczepione. Wciąż zastanawiamy się, gdzie najlepiej je umieścić, mówi James Gilbert , starszy wykładowca inżynierii w Hull.

Podobnie jak zespół Witwatersrand, grupa Hull ma nadzieję na wyeliminowanie większości okablowania i rozszerzenie swojego zbioru danych. Obecnie system Hull może zidentyfikować tylko 10 słów, a dokładność może wahać się od 70 do 100 procent.

Jednak Gilbert kwestionuje, czy wszystkie słowa można kiedykolwiek zidentyfikować za pomocą palatometru. Metody analizy wydają się rozsądne, mówi, ale dodaje, że w przypadku niektórych słów kontakt z podniebieniem jest bardzo ograniczony.

Zespół Witwatersrand uważa, że ​​jego konstrukcja jest lepsza, ponieważ nie wymaga implantów chirurgicznych. W przypadku, gdy ogólny pomysł okaże się wykonalny, mamy nadzieję, że będziemy w stanie zawrzeć umowy z firmami produkującymi istniejące systemy, aby umożliwić nam postęp w tym podejściu do sztucznej krtani, mówi Rubin.

ukryć