Quelques mouvements des mains et l'appareil saisit un cliché, le mobile va récupérer les mails ou un dessin se projette sur le mur. Le projet SixthSense – sixième sens – de Pranav Mistry a pris une forme concrète... et plutôt étonnante.

au sommaire


    Une fois les photos prises (en dessinant un rectangle avec les doigts), Sixthsense peut les projeter n'importe où. © Pranav Mistry

    Une fois les photos prises (en dessinant un rectangle avec les doigts), Sixthsense peut les projeter n'importe où. © Pranav Mistry

    Matériellement, l'invention de Pranav Mistry, un chercheur de 28 ans membre du Media Lab, au MIT (Massachusetts Institute of Technology), se réduit à un mobilemobile haut de gamme, une webcam, un appareil photo, un picoprojecteur et... quatre dés en plastiqueplastique colorés en rouge, en bleu, en jaune et en vert. Voilà SixthSense, un attirail dont le prix de revient serait inférieur à 350 dollars (environ 250 euros), sans le téléphone, et servant à faire tout ce que souhaite un nomade moderne : téléphoner, surfer, prendre des photos et même dessiner ou projeter des images sur les mursmurs ou sur le pull de son amie.

    Pranav Mistry montre l'interface Sixthsense. Il manque l'appareil photo, installé sur un couvre-chef (cliquer sur l'image pour l'agrandir). 1 : la webcam, reliée au mobile, filme devant elle et enregistre les mouvements des doigts. 2 : les dés colorés, fixés sur les pouces et les index, facilitent le suivi du mouvement et pourront un jour être supprimés. 3 : le projecteur miniature affiche une image sur n'importe quelle surface. 4 : le mobile, capable de se connecter au Web, fait tourner les programmes contrôlant l'ensemble du système.<br />© Sam Ogden

    Pranav Mistry montre l'interface Sixthsense. Il manque l'appareil photo, installé sur un couvre-chef (cliquer sur l'image pour l'agrandir). 1 : la webcam, reliée au mobile, filme devant elle et enregistre les mouvements des doigts. 2 : les dés colorés, fixés sur les pouces et les index, facilitent le suivi du mouvement et pourront un jour être supprimés. 3 : le projecteur miniature affiche une image sur n'importe quelle surface. 4 : le mobile, capable de se connecter au Web, fait tourner les programmes contrôlant l'ensemble du système.
    © Sam Ogden

    Sixthsense se porteporte sur soi : l'appareil photo prend place sur la tête, la webcam est suspendue au cou comme le projecteurprojecteur, placé plus bas, sur la poitrine, le mobile se cache sur la ceinture et les dés de plastique se portent sur les pouces et les index des deux mains.

    Tout est dans le logiciel, intégré au mobile, qui pilote l'ensemble. Relié à la webcam, il suit les mouvementsmouvements des dés colorés, qui font office d'interface. Pouces et index se rejoignent pour former un rectangle : l'appareil photo est déclenché. Un index dessine dans l'airair un @ : le mobile relève le courrier électronique et peut lire les textes grâce à une interface vocale. Les doigts pointent vers l'avant : le projecteur s'allume et affiche une image devant lui.


    Une démonstration des possibilités de Sixthsense, ou comment prendre des photos sans toucher à l'appareil et les regarder n'importe où.

    Interface universelle

    Pour son prototype Pranav Mistry a développé plusieurs applicationsapplications afin de démontrer les possibilités, en insistant sur le fait qu'on peut en imaginer bien d'autres. Grâce à la webcam, Sixthsense voit ce qui se trouve devant et reconnaît certains objets. S'il repère un livre, il tentera d'en lire le titre et se connectera sur le site d'AmazonAmazon pour en savoir plus.

    Le système peut afficher une carte et les mouvements des doigts pourront alors agrandir une zone, comme on le fait sur un écran tactile multipoints. Mais ici, la surface peut être quelconque. Même les mains peuvent faire office d'écran pour visualiser une image ou des photographiesphotographies. L'inventeur montre d'ailleurs une calculatrice dont les chiffres s'affichent sur les doigts et les résultats sur la paume...

    Une autre manière de compter sur ses doigts... © Pranav Mistry

    Une autre manière de compter sur ses doigts... © Pranav Mistry

    Développé en cinq mois seulement, Sixthsense vient de se voir décerner un prix par la revue Technology Review (éditée par le MIT). La commercialisation de l'appareil n'est pas prévue mais, techniquement, elle ne poserait pas de problème insurmontable.

    Surtout, Sixthsense illustre à merveille ce que l'on peut attendre de futures interfaces pour contrôler des systèmes informatiques ou des appareils mobiles. L'analyse des mouvements du corps ou de la main, notamment, est actuellement très étudiée. MicrosoftMicrosoft a récemment présenté Natal, une interface corporelle, et au dernier salon Laval Virtual 2009 le Japonais Kiyoshi Hoshino avait montré un dispositif capable de suivre très précisément le mouvement des doigts, sans nécessiter le port de ces petits capuchons colorés, dont Pranav Mistry a d'ailleurs prévu de se passer prochainement.