EyeRing, la réalité augmentée au bout du doigt

Pointer le doigt sur un objet pour savoir ce que c'est, quelle est sa couleurcouleur, son prix, voilà ce que peut faire EyeRing. Cette bague conçue par des chercheurs du Massachusetts Institute of Technology (MIT), est destinée à aider les personnes souffrant de déficience visuelle. Elle est équipée d'une microcaméra que l'utilisateur pointe sur un objet pour en prendre une photo. Celle-ci est transmise à un smartphone via une liaison Bluetooth pour être analysée par une applicationapplication de traitement d'image qui va en retour afficher et décrire vocalement ce qu'elle voit. « Le désir de remplacer le sens de la vue pour une personne non voyante ou d'améliorer celui d'une personne valide a eu une forte influence sur la conception d'EyeRing », expliquent les chercheurs dans leur publication technique.

Ils ont également mis en ligne une vidéo de démonstration dans laquelle on découvre le fonctionnement du système. Un homme non voyant entre dans un centre commercial, sort de sa poche la bague EyeRing qu'il enfile sur son index puis place dans ses oreilles les écouteurs de son smartphone connecté à la bague en Bluetooth. Il commence par pointer EyeRing devant lui, presse le bouton pour prendre une photo et quelques secondes plus tard, une voix lui indique la distance qui le sépare du premier obstacle. L'utilisateur bascule ensuite en mode « reconnaissance des couleurs » en prononçant juste le mot « couleur ».

Il promène ses mains sur un présentoir où sont rangés des T-shirts, s'arrête sur un modèle, le vise avec la bague puis prend une photo et obtient très rapidement la réponse « gris ». Il passe ensuite en mode « monnaie », ouvre son portefeuille, sort un billet qu'il prend en photo avec EyeRing pour savoir de combien il dispose. De retour sur le T-shirt, il appelle la fonction « étiquette » puis pointe la bague sur l'étiquette de prix et entend la réponse quasi instantanément.

Ces fonctions peuvent s'avérer très utiles dans la vie quotidienne d'un non-voyant, par exemple pour l'aider à se diriger, s'habiller et payer ses achats. L'un des axes de développement sur lequel le MIT veut travailler est le traitement vidéo en temps réel de telle sorte qu'EyeRing serve de caméra de profondeur et puisse remplacer la canne des non-voyants. Actuellement, le premier prototype EyeRing repose sur une structure réalisée en ABS (acrylonitrile butadiène styrène) grâce à une imprimante 3D. À l'intérieur se logent une microcamera JPEG, un processeur AVR 16 MHz, un module Bluetooth, une batterie lithium-ion 3,7 voltsvolts et un interrupteur pour déclencher la prise de vue et activer la commande vocale.

EyeRing pour remplacer la canne des non-voyants

La bague est donc connectée à un smartphone par liaison Bluetooth. Les photos prises sont envoyées sur le téléphone mobile et analysées par une application basée sur un algorithme de traitement d'image. L'information est restituée via un système de reconnaissance vocale mais elle est aussi affichée sur l'écran du terminal.

Ce qui signifie qu'EyeRing peut également avoir des utilisations pertinentes pour les personnes valides. Parmi les développements envisagés par le MIT, figurent l'assistance à la navigation et la traduction pour aider les touristes à se repérer en utilisant la bague pour prendre des photos de panneaux et des lieux dans lesquels ils se trouvent. « Même avec des applications de réalité augmentée telles que Layar4, l'interface utilisateur pour la navigation pédestre n'est pas assez ergonomique. Notre projet d'application repose sur une gestuelle bien plus naturelle, comme de pointer en direction d'un paysage en demandant "Qu'est-ce que c'est ?" et d'entendre son nom », poursuivent les concepteurs d'EyeRing.

Pour le moment, le système fonctionne avec un smartphone sous Android 2.2 et une application iOSiOS est en cours de développement. La bague a été testée en conditions réelles avec une personne non voyante qui a estimé que les applications d'assistance qu'elle propose sont « intuitives et transparentes ». Les chercheurs du MIT comptent maintenant réaliser une étude « plus formelle et rigoureuse » pour valider ces données à plus grande échelle. Les usages potentiels reposent beaucoup sur la possibilité d'augmenter la puissance de calcul de l'électronique embarquée dans la bague ainsi que l'intégration de nouveaux capteurscapteurs : gyroscopegyroscope, microphone, une seconde caméra, un capteur de profondeur, un capteur infrarougeinfrarouge, un module laserlaser. C'est à cela que l'équipe du MIT va s'atteler dans les années qui viennent avant d'envisager une éventuelle commercialisation.