Vocal Joystick - przesuwaj kursor głosem

Mówisz: „aaa” i kursor wędruje w górę, mówisz: „ooo”, a kursor wędruje w dół ekranu

Dla postronnego obserwatora brzmi to jak mantra albo powtarzanie nowych słów z języka obcego. A osoba przed ekranem komputera steruje kursorem i przewija tekst.

Vocal Joystick (VJ) to najnowsze dzieło z Signal, Speech and Language Interpretation Lab na University of Washington.

Dr Jeff Bilmes, kierujący zespołem projektowym, wyjaśnia, że oprogramowanie Vocal Joystick powstało po to, aby ułatwić życie osobom z niepełnosprawnością ruchową, a w szczególności z niesprawnymi rękami. Umożliwia ono kontrolowanie za pomocą głosowych komend obiektów na ekranie komputera (suwaki, przyciski, kursory) oraz docelowo rozmaitych urządzeń elektromechanicznych.

Dotychczas stosowane sterowanie głosem z użyciem standardowego języka miało swoje wady – automatyczne systemy rozpoznawania mowy słabo radziły sobie z bardziej skomplikowanymi zwrotami. W systemie VJ użytkownik ma możliwość stosowania całej gamy prostych wykrzykników i wokaliz (ooo, aaa, łoł, itp.), a siła i tempo wypowiadanych dźwięków decyduje o szybkości danej operacji. System rozpoznaje poszczególne dźwięki z dokładnością do 1/100 sekundy.

Dla kliknięcia – zatwierdzenia danej czynności wystarczy tylko powiedzieć: „klik”, a rozmaite mruczanda typu: „aaa” lub „ooo” służą do sterowania kursorem.

Nad projektem pracowali wspólnie specjaliści z inżynierii elektrycznej, lingwistyki i informatyki, a gotowe oprogramowanie testowali pacjenci University of Washington Medical Center. Prof. Kurt L. Johnson z Wydziału Rehabilitacji Medycznej na tej samej uczelni uważa, że wynalazek ma duży potencjał, ponieważ obsługa VJ jest prosta, intuicyjna i można się jej szybko nauczyć. Podaje też przykłady osób z ciężkimi urazami rdzenia kręgowego, które opanowały działanie Vocal Joystick w niespełna 2 minuty.

Aby używać oprogramowania Vocal Joystick na swoim komputerze, trzeba mieć mikrofon i zainstalowaną standardową kartę dźwiękową.

Naukowcy z  University of Washington planują wkrótce zamieścić oprogramowanie VJ dla wszystkich zainteresowanych na oficjalnej stronie projektu: https:\/\/ssli.ee.washington.edu/vj/ .

Agnieszka Labisko

Obejrzyj, jak działa Vocal Joystick: