Avec le suivi des mains, il sera bientôt possible d’écrire avec un clavier virtuel aussi rapidement qu’avec un clavier physique. © Facebook
Tech

Facebook prépare un clavier virtuel pour n’importe quelle surface

ActualitéClassé sous :Réalité virtuelle , clavier virtuel , Facebook

Des chercheurs de chez Facebook viennent de présenter un clavier virtuel basé sur le suivi des mains grâce aux caméras intégrées dans un casque de réalité virtuelle. Il ne nécessite aucun périphérique supplémentaire, et peut être utilisé sur toute surface plane.

Les casques de réalité virtuelle Oculus Quest et Quest 2, qui vient de sortir, proposent une fonction expérimentale de suivi des mains (hand tracking) très pratique pour manipuler certains objets ou naviguer dans des menus sans manette. En utilisant les caméras externes, le casque est capable d'identifier les mains et de suivre le mouvement. Toutefois, les gestes sont limités, et le suivi un peu capricieux.

Visiblement Facebook, dont Oculus est une filiale, travaille toujours sur cette fonction. Dans un article présenté à la conférence UIST 2020, des chercheurs de Facebook Reality Labs ont dévoilé leurs travaux sur une nouvelle technique de suivi des mains suffisamment précise pour écrire sur un clavier virtuel.

L’utilisation d’un clavier virtuel nécessite pour l’instant de porter des gants avec des marqueurs. © ACM SIGCHI

Une frappe aussi rapide que sur un clavier physique

La technique permet d'écrire sur une surface plane, sans clavier physique ni entrée tactile. Le système utilise les caméras d'un casque et un réseau neuronal convolutif temporel pour représenter le mouvement des mains. Il intègre un modèle de langage et un algorithme de recherche en faisceau pour compenser les erreurs de suivi, mais aussi les erreurs de placement des mains. Sans la sensation tactile des touches, les mains des utilisateurs ont tendance à dériver légèrement. Pour améliorer la détection des doigts, les utilisateurs ont dû porter des gants avec des marqueurs.

Les résultats sont très prometteurs, avec une vitesse de frappe de 73 mots par minute, équivalente à celle obtenue avec un clavier physique. Les chercheurs ont toutefois encore du travail, car le clavier virtuel est pour l'instant limité aux minuscules et fonctionne mal avec tout mot qui n'est pas dans le dictionnaire. De plus, le système a dû être calibré pour chaque utilisateur, nécessitant à chaque fois d'enregistrer plus d'une heure de saisie sur un clavier physique. Leur système de suivi est également beaucoup plus précis que celui présent sur les casques comme le Quest. Toutefois, cette technologie pourrait à terme permettre d'utiliser les casques de réalité virtuelle ou augmentée pour travailler n'importe où.

Cela vous intéressera aussi
Abonnez-vous à la lettre d'information La quotidienne : nos dernières actualités du jour. Toutes nos lettres d’information

!

Merci pour votre inscription.
Heureux de vous compter parmi nos lecteurs !