Pour diriger un pointeur ou un robot, la voix suffit. C'est ce qu'a démontré une équipe américaine en réalisant une sorte de joystick vocal. Différents sons permettent alors de commander un déplacement dans toutes les directions. Les personnes handicapées pourraient en profiter très vite.
Cela vous intéressera aussi

« OOO » pour aller à droite, « OU » pour descendre, « AAA » pour monter, « IIII » pour partir à gauche et quatre sons intermédiaires pour les directions obliques. Grâce à ce principe simple, les équipes du laboratoire AIM (Accessibility, interaction and mobility) et du groupe DUB (spécialisé dans l'interface homme-ordinateur), au Centre médical de l'université de Washington, donnent à une personne handicapée le moyen de diriger un pointeur sur l'écran d'un ordinateurordinateur et donc d'utiliser n'importe quel logiciellogiciel.

Le système, baptisé Vocal Joystick, est désormais complet et une dizaine de patients, dont une personne tétraplégiquetétraplégique, ont pu apprendre facilement à manipuler un logiciel et même un robotrobot. Le premier élément du dispositif, qui constitue sa grande originalité, est une reconnaissance acoustique. L'appareil analyse donc des sons en continu et pas des mots. Il échantillonne le signal sonore par tranches de 10 millisecondes pour en déterminer la fréquencefréquence et même l'énergieénergie produite. Le logiciel (écrit en C++ et tournant sur un ordinateur personnel) détermine la voyelle prononcée et peut suivre des sons continus ou discrets. La personne peut ainsi, par exemple, émettre un son guttural pour obtenir l'équivalent d'un clic de souris.

Diagramme utilisé lors de l'apprentissage, indiquant à l'utilisateur à quels sons correspondent les huit déplacements possibles. © <em>U. of Washington</em>

Diagramme utilisé lors de l'apprentissage, indiquant à l'utilisateur à quels sons correspondent les huit déplacements possibles. © U. of Washington

Apprentissage pour l'homme et pour l'ordinateur

Dans un premier temps, le joystickjoystick vocal doit s'adapter à la voix de son interlocuteur durant une phase d'apprentissage, faisant appel notamment à la technique des réseaux neuronaux. De son côté, l'utilisateur, qui doit lui s'habituer à ce procédé inhabituel, peut faire fonctionner le système en mode à 4 mouvementsmouvements (haut, bas, gauche, droite) plutôt qu'en 8.


La voix peut commander un robot aussi facilement qu'un pointeur sur un écran. © U. of Washington

Les chercheurs estiment avoir démontré que ce principe permet d'atteindre une précision équivalente à celle d'un joystick véritable ou d'une souris. Susumu Harada, un étudiant membre de l'équipe dirigée par Jacob Wobbrock, a mis au point un logiciel de dessin, baptisé VoiceDraw, avec lequel il a peint... le mont Fuji, en deux heures et demie précise-t-il dans la publication, disponible en PDF (voir les liens en bas de l'article).

Le joystick vocal a également été testé pour la commande de robots, comme le montrent les vidéos disponibles, permettant d'imaginer d'innombrables applicationsapplications pour les personnes handicapées voire, également, en robotiquerobotique.