Les futures mains virtuelles de Microsoft permettront-elles de manipuler n’importe quelle interface ? © alphaspirit, Shutterstock

Tech

Les mains virtuelles de Microsoft seront-elles aussi vraies que nature ?

ActualitéClassé sous :image 3D , réalité virtuelle , Kinect

Des mains virtuelles qui reproduisent les gestes avec une précision si fine qu'elles permettraient de manipuler n'importe quelle interface : c'est ce sur quoi planchent les ingénieurs de Microsoft, qui viennent de dévoiler les derniers fruits de leurs efforts. Le résultat est, il faut l'avouer, assez bluffant.

Bill Gates a peut-être eu tort sur beaucoup de choses, mais il avait fait la prophétie il y a bien longtemps (au moins depuis 1997) que l'utilisateur finirait par abandonner le clavier, qu'il voyait comme une anomalie temporaire dans l'interface Homme-machine. Le fondateur de Microsoft rêve depuis très longtemps de l'avènement des interfaces tactiles, de la reconnaissance vocale, ou de l'utilisation des gestes pour interagir avec l'ordinateur, ce qui serait pour lui plus naturel que d'écrire du texte avec les touches d'un clavier.

Nous sommes encore très loin de l'abandon total du clavier, mais il est clair qu'il est aujourd'hui possible de dicter des textes très facilement avec une orthographe quasi parfaite, de dialoguer avec des assistants vocaux, de toucher l'écran pour déplacer des objets virtuels, ou encore d'utiliser des gestes dans l'espace, façon Minority Report, pour manipuler une interface.

Toutefois, il faut encore du travail pour que la précision espérée d'un Magic Leap aboutisse à des applications vraiment utiles et intuitives. En effet, la main a ses subtilités que les algorithmes et les capteurs peinent encore à traduire, et celui qui parviendra à les reproduire dans le virtuel décrochera le gros lot.

Si la réalité virtuelle veut s’imposer comme l’interface du futur, il faudra des solutions simples et peu contraignantes pour permettre aux utilisateurs d’interagir avec des gestes naturels. © Microsoft

« Ressentir sa main d’avatar comme étant sa vraie main »

Nous avions vu récemment que Google avait fait d'énormes progrès dans ce sens en dévoilant le Project Soli, une puce entièrement dédiée à capter les doigts avec une finesse inégalée. Mais Microsoft ne veut pas être en reste, et annonce également l'avancée de ses travaux.

Contrairement à Google qui utilise un capteur miniaturisé et une IA qui analyse les mouvements, Microsoft continue d'utiliser des capteurs 3D façon Kinect, mais avec des algorithmes de plus en plus pointus, qui permettent de modéliser la main dans des environnements virtuels et d'en reproduire les gestes avec une précision inédite (voir la démonstration dans cette vidéo YouTube).

La technologie de détection des mouvements des mains élaborée par Microsoft s’appuie sur de la modélisation 3D et des algorithmes qui détaillent les gestes avec une grande précision. © Microsoft

« Nous en arrivons au stade où la précision est telle qu'un utilisateur peut commencer à ressentir sa main d'avatar comme étant sa vraie main », assure Jamie Shotton, l'un des trois ingénieurs de Microsoft Research, qui présenteront leurs résultats cet été. La firme de Redmond cherche désormais à afficher des mains virtuelles, soit directement sur l'écran habituel de l'ordinateur, soit au travers de lunettes de réalité virtuelle, grâce à des algorithmes qui modélisent la main avec précision, en utilisant une multitude de points de contrôle et une reconstruction douce, sans polygones apparents.

Elle assure que même sans sensations haptiques, les interfaces sont désormais tellement réactives et intuitives que l'utilisateur n'est plus gêné par l'absence de toucher, et parvient à interagir naturellement comme s'il était vraiment en face d'un bouton, d'un levier ou d'un objet quelconque à déplacer.

Cela vous intéressera aussi

Magic Leap, un pas de géant vers la réalité augmentée interactive  La réalité augmentée consiste à afficher des informations virtuelles dans le monde réel par l’intermédiaire d’un smartphone ou de lunettes par exemple. Magic Leap travaille depuis déjà plusieurs années sur cette technologie étonnante. Voici un aperçu de leurs dernières avancées en vidéo.