Interfejs komputera związany z mięśniami

To dobry czas na komunikację z komputerami. Nie jesteśmy już ograniczeni myszką i klawiaturą — ekrany dotykowe i kontrolery oparte na gestach stają się coraz bardziej powszechne. Startup o nazwie Emotiv Systems sprzedaje nawet czapkę, która odczytuje aktywność mózgu, pozwalając użytkownikowi kontrolować grę komputerową swoimi myślami.

Gitara powietrzna: Oprogramowanie interpretuje sygnały wysyłane z czujników elektromiograficznych przymocowanych do przedramienia, umożliwiając użytkownikowi sterowanie grami komputerowymi, takimi jak Guitar Hero czy Rock Band.

Teraz naukowcy z Microsoftu, Uniwersytetu Waszyngtońskiego w Seattle i Uniwersytetu Toronto w Kanadzie opracowali inny sposób interakcji z komputerami: interfejs sterowany mięśniami, który pozwala na interakcję gestami bez użycia rąk.

Opaska elektrod przyczepia się do przedramienia osoby i odczytuje aktywność elektryczną różnych mięśni ramion. Sygnały te są następnie skorelowane z określonymi gestami dłoni, takimi jak dotykanie palca i kciuka lub chwytanie przedmiotu mocniej niż zwykle. Naukowcy przewidują wykorzystanie tej technologii do zmiany utworów w odtwarzaczu MP3 podczas biegania lub grania w grę taką jak Guitar Hero bez zwykłego plastikowego kontrolera.

Interakcja z komputerem oparta na mięśniach nie jest niczym nowym. W rzeczywistości mięśnie w pobliżu amputowanej lub brakującej kończyny są czasami używane do kontrolowania protetyki mechanicznej. Ale chociaż naukowcy badali już wcześniej interakcje między mięśniami a komputerami dla użytkowników sprawnych, podejście to ma ograniczoną praktyczność. Niezawodne wywnioskowanie gestów z ruchu mięśni jest trudne, więc takie interfejsy często ograniczały się do wyczuwania ograniczonego zakresu gestów lub ruchów.

Multimedialne

• Obejrzyj interfejs komputera mięśniowego w połączeniu z Microsoft Surface.

Nowy projekt badania mięśni jest skierowany do zdrowych konsumentów, którzy chcą bogatszych sposobów wprowadzania danych, mówi Desney tan , badacz w firmie Microsoft. W rezultacie on i jego koledzy musieli wymyślić system, który był tani i dyskretny, i który niezawodnie wyczuwał szereg gestów.

Najnowszy interfejs grupy, zaprezentowany na Oprogramowanie i technologia interfejsu użytkownika Konferencja na początku tego miesiąca w Victoria w Kolumbii Brytyjskiej wykorzystuje sześć czujników elektromiograficznych (EMG) i dwie elektrody uziemiające rozmieszczone w pierścieniu wokół prawego górnego przedramienia osoby do wykrywania ruchu palców oraz dwa czujniki na lewym górnym przedramieniu do rozpoznawania ściśnięć dłoni. Chociaż czujniki te są okablowane i rozmieszczone pojedynczo, ich orientacja nie jest dokładna – to znaczy, że nie są ukierunkowane określone mięśnie. Oznacza to, że wyniki powinny być podobne dla cienkiej opaski EMG, którą osoba nieprzeszkolona może nałożyć bez pomocy, mówi Tan. Badania opierają się na wcześniejszych pracach, w których wykorzystano droższy system EMG do wykrywania gestów palców, gdy dłoń kładzie się na płaskiej powierzchni.

Czujniki nie mogą od razu dokładnie zinterpretować aktywności mięśni. Oprogramowanie musi być przeszkolone w zakresie kojarzenia sygnałów elektrycznych z różnymi gestami. Naukowcy wykorzystali standardowe algorytmy uczenia maszynowego, które z czasem poprawiają ich dokładność (podejście to jest podobne do tego, którego używa Tan w przypadku interfejsów mózg-komputer).

Spędziliśmy dużo czasu, próbując wymyślić, jak skłonić użytkownika do odpowiedniej kalibracji urządzenia, mówi Tan. Oprogramowanie uczy się rozpoznawać sygnały EMG wytwarzane podczas wykonywania przez użytkownika gestów w określony, kontrolowany sposób.

Algorytmy skupiają się na trzech specyficznych cechach danych EMG: wielkości aktywności mięśni, szybkości aktywności mięśni i falowych wzorcach aktywności, które występują jednocześnie w kilku czujnikach. Te trzy cechy, mówi Tan, zapewniają dość dokładny sposób identyfikacji niektórych rodzajów gestów. Po szkoleniu oprogramowanie mogło dokładnie określić wiele gestów uczestników w ponad 85 procentach czasu, a niektóre gesty w ponad 90 procentach.

Zwłaszcza na wczesnych etapach szkolenia gesty uczestnika muszą być uważnie kierowane, aby zapewnić prawidłowe przeszkolenie algorytmów uczenia maszynowego. Ale Tan mówi, że nawet przy niewielkiej ilości informacji zwrotnych osoby testowe dość naturalnie przystosowują się i zmieniają postawy i gesty, aby uzyskać drastycznie lepszą wydajność. Mówi, że ważnym elementem procesu szkoleniowego stało się posiadanie przez użytkowników wyzwalania odpowiedniej reakcji z systemu.

Większość dzisiejszych interfejsów komputerowych wymaga pełnej uwagi użytkownika, mówi Pattie Maes , profesor sztuk i nauk o mediach na MIT. Desperacko potrzebujemy nowatorskich interfejsów, takich jak ten opracowany przez zespół Microsoft, aby umożliwić bardziej płynną integrację cyfrowych informacji i aplikacji z naszym intensywnym codziennym życiem.

Tan i współpracownicy pracują teraz nad prototypem, który wykorzystuje bezprzewodową opaskę, którą można łatwo wsunąć na ramię osoby, a także bardzo szybki system treningowy. Naukowcy testują również, jak dobrze system działa, gdy ludzie chodzą i biegają podczas noszenia go.

Ostatecznie, mówi Tan, kontrola całego ciała doprowadzi do całkowicie nowych sposobów korzystania z komputerów. Wiemy, że ma to coś wspólnego z gestami, które są mobilne, zawsze dostępne i naturalne, ale wciąż pracujemy nad dokładnym paradygmatem, mówi.

ukryć