Des mains virtuelles qui reproduisent les gestes avec une précision si fine qu’elles permettraient de manipuler n’importe quelle interface : c'est ce sur quoi planchent les ingénieurs de Microsoft, qui viennent de dévoiler les derniers fruits de leurs efforts. Le résultat est, il faut l’avouer, assez bluffant.

au sommaire

    Bill Gates a peut-être eu tort sur beaucoup de choses, mais il avait fait la prophétie il y a bien longtemps (au moins depuis 1997) que l'utilisateur finirait par abandonner le clavier, qu'il voyait comme une anomalieanomalie temporaire dans l'interface Homme-machine. Le fondateur de Microsoft rêve depuis très longtemps de l'avènement des interfaces tactiles, de la reconnaissance vocale, ou de l'utilisation des gestes pour interagir avec l'ordinateur, ce qui serait pour lui plus naturel que d'écrire du texte avec les touches d'un clavier.

    Nous sommes encore très loin de l'abandon total du clavier, mais il est clair qu'il est aujourd'hui possible de dicter des textes très facilement avec une orthographe quasi parfaite, de dialoguer avec des assistants vocaux, de toucher l'écran pour déplacer des objets virtuels, ou encore d'utiliser des gestes dans l'espace, façon Minority Report, pour manipuler une interface.

    Toutefois, il faut encore du travail pour que la précision espérée d'un Magic Leap aboutisse à des applicationsapplications vraiment utiles et intuitives. En effet, la main a ses subtilités que les algorithmes et les capteurscapteurs peinent encore à traduire, et celui qui parviendra à les reproduire dans le virtuel décrochera le gros lot.

    Si la réalité virtuelle veut s’imposer comme l’interface du futur, il faudra des solutions simples et peu contraignantes pour permettre aux utilisateurs d’interagir avec des gestes naturels. © Microsoft

    Si la réalité virtuelle veut s’imposer comme l’interface du futur, il faudra des solutions simples et peu contraignantes pour permettre aux utilisateurs d’interagir avec des gestes naturels. © Microsoft

    « Ressentir sa main d’avatar comme étant sa vraie main »

    Nous avions vu récemment que Google avait fait d'énormes progrès dans ce sens en dévoilant le Project Soli, une puce entièrement dédiée à capter les doigts avec une finesse inégalée. Mais MicrosoftMicrosoft ne veut pas être en reste, et annonce également l'avancée de ses travaux.

    Contrairement à GoogleGoogle qui utilise un capteur miniaturisé et une IAIA qui analyse les mouvementsmouvements, Microsoft continue d'utiliser des capteurs 3D façon Kinect, mais avec des algorithmes de plus en plus pointus, qui permettent de modéliser la main dans des environnements virtuels et d'en reproduire les gestes avec une précision inédite (voir la démonstration dans cette vidéo YouTube).

    La technologie de détection des mouvements des mains élaborée par Microsoft s’appuie sur de la modélisation 3D et des algorithmes qui détaillent les gestes avec une grande précision. © Microsoft

    La technologie de détection des mouvements des mains élaborée par Microsoft s’appuie sur de la modélisation 3D et des algorithmes qui détaillent les gestes avec une grande précision. © Microsoft

    « Nous en arrivons au stade où la précision est telle qu'un utilisateur peut commencer à ressentir sa main d'avatar comme étant sa vraie main », assure Jamie Shotton, l'un des trois ingénieurs de Microsoft Research, qui présenteront leurs résultats cet été. La firme de Redmond cherche désormais à afficher des mains virtuelles, soit directement sur l'écran habituel de l'ordinateur, soit au travers de lunettes de réalité virtuelle, grâce à des algorithmes qui modélisent la main avec précision, en utilisant une multitude de points de contrôle et une reconstruction douce, sans polygones apparents.

    Elle assure que même sans sensations haptiques, les interfaces sont désormais tellement réactives et intuitives que l'utilisateur n'est plus gêné par l'absence de toucher, et parvient à interagir naturellement comme s'il était vraiment en face d'un bouton, d'un levier ou d'un objet quelconque à déplacer.