Pour diriger un pointeur ou un robot, la voix suffit. C'est ce qu'a démontré une équipe américaine en réalisant une sorte de joystick vocal. Différents sons permettent alors de commander un déplacement dans toutes les directions. Les personnes handicapées pourraient en profiter très vite.
« OOO » pour aller à droite, « OU » pour descendre, « AAA » pour monter, « IIII » pour partir à gauche et quatre sons intermédiaires pour les directions obliques. Grâce à ce principe simple, les équipes du laboratoire AIM (Accessibility, interaction and mobility) et du groupe DUB (spécialisé dans l'interface homme-ordinateur), au Centre médical de l'université de Washington, donnent à une personne handicapée le moyen de diriger un pointeur sur l'écran d'un ordinateur et donc d'utiliser n'importe quel logiciel.
Le système, baptisé Vocal Joystick, est désormais complet et une dizaine de patients, dont une personne tétraplégique, ont pu apprendre facilement à manipuler un logiciel et même un robot. Le premier élément du dispositif, qui constitue sa grande originalité, est une reconnaissance acoustique. L'appareil analyse donc des sons en continu et pas des mots. Il échantillonne le signal sonore par tranches de 10 millisecondes pour en déterminer la fréquence et même l'énergie produite. Le logiciel (écrit en C++ et tournant sur un ordinateur personnel) détermine la voyelle prononcée et peut suivre des sons continus ou discrets. La personne peut ainsi, par exemple, émettre un son guttural pour obtenir l'équivalent d'un clic de souris.
Apprentissage pour l'homme et pour l'ordinateur
Dans un premier temps, le joystick vocal doit s'adapter à la voix de son interlocuteur durant une phase d'apprentissage, faisant appel notamment à la technique des réseaux neuronaux. De son côté, l'utilisateur, qui doit lui s'habituer à ce procédé inhabituel, peut faire fonctionner le système en mode à 4 mouvements (haut, bas, gauche, droite) plutôt qu'en 8.
La voix peut commander un robot aussi facilement qu'un pointeur sur un écran. © U. of Washington
Les chercheurs estiment avoir démontré que ce principe permet d'atteindre une précision équivalente à celle d'un joystick véritable ou d'une souris. Susumu Harada, un étudiant membre de l'équipe dirigée par Jacob Wobbrock, a mis au point un logiciel de dessin, baptisé VoiceDraw, avec lequel il a peint... le mont Fuji, en deux heures et demie précise-t-il dans la publication, disponible en PDF (voir les liens en bas de l'article).
Le joystick vocal a également été testé pour la commande de robots, comme le montrent les vidéos disponibles, permettant d'imaginer d'innombrables applications pour les personnes handicapées voire, également, en robotique.