Facebook vient de présenter en détail ses futurs bracelets pour interagir avec les éléments virtuels dans la réalité augmentée. En mesurant les impulsions nerveuses, ils pourront détecter les mouvements des doigts sans utiliser de caméra ou de gants. Des pressions et vibrations des bracelets permettront de ressentir les objets manipulés.

au sommaire

    Avec ses casques de réalité virtuelle OculusOculus Quest, FacebookFacebook a mis en place une fonction expérimentale de suivi des mains, sans manettes, uniquement grâce aux caméras intégrées. La technologie est impressionnante, mais loin d'être parfaite. Son laboratoire de réalité virtuelle et augmentée travaille aussi sur une autre technologie très différente. Dans un nouvel article, Facebook Reality Labs décrit en détail des bracelets neuronaux qui permettent de manipuler les objets dans l'espace virtuel, développés à l'origine par la start-up CTRL-labs rachetée par le réseau social en 2019.

    Facebook a décidé de placer ses futurs contrôleurs sur les poignets où ils pourront être portés à longueur de journée, comme une montre. L'idée est qu'à l'avenir, on pourrait porter ses lunettes de réalité augmentée en permanence, et donc nécessiter d'avoir toujours sur soi un moyen d'interagir avec. Pour fonctionner, la firme a intégré des capteurscapteurs dans les bracelets afin de mesurer les signaux nerveux qui traversent les poignets lorsqu'on bouge les doigts. Cela s'appelle l’électromyographie (EMGEMG), et cette technologie est suffisamment sensible pour détecter un mouvementmouvement de doigt d'un seul millimètre.

    Facebook explique le fonctionnement de ses bracelets avec quelques exemples d’utilisation (vidéo en anglais). © Facebook

    Une technologie encore à ses débuts

    Les bracelets permettent actuellement d'effectuer des « clics » en pinçant le pouce et un doigt. Toutefois, les chercheurs travaillent également sur des gestes plus complexes, comme écrire sur un clavier virtuel. Il serait alors très simple de créer un bureau temporaire n'importe où, simplement en faisant apparaître le clavier et un écran ou document virtuel. En s'appuyant sur l'intelligence artificielle (IA) pour analyser la manière dont on se sert du clavier, y compris les mauvaises habitudes et les erreurs de frappe, la disposition du clavier  pourra être adaptée à chacun et ainsi accélérer la saisie.

    Plutôt qu'une interface statique, Facebook souhaite rendre l'utilisation de réalité augmentée plus fluide grâce à l’intelligence artificielle. Les lunettes de réalité virtuelle comprendront votre activité en cours, et permettront d'interagir avec des objets réels, comme allumer ou ajuster une lampe connectée en la pointant du doigt. De plus, l'interface s'adaptera à vos habitudes, et pourra par exemple proposer de lancer la lecture de votre musique lorsque vous faites du sport afin de vous éviter de chercher la fonction dans les menus.

    Les chercheurs effectuent une démonstration de l’état actuel de l’écriture avec un clavier virtuel, qui nécessite tout de même un correcteur automatique. © Facebook

    Un retour haptique au poignet pour sentir les objets

    Un autre point important pour interagir avec les objets virtuels est le retour haptique, autrement dit une sensation de toucher. Les bracelets s'appuient sur le phénomène de substitution sensorielle, qui permet d'interpréter les sensations aux poignets comme étant liées aux objets virtuels que l'on manipule. Facebook explore actuellement deux technologies différentes. La première, appelée Bellowband, utilise des éléments pneumatiquespneumatiques. La seconde, Tasbi, intègre des actionnaires vibrotactiles. Les deux sont capables de créer des séries complexes de vibrationsvibrations et de pressionspressions. Cela permet de ressentir différentes texturestextures, ou par exemple sentir la tension d'un arc bandé sous forme de pression autour du poignet.

    Facebook n'a pas donné de date de sortie éventuelle, mais s'est contenté d'indiquer que ce serait à beaucoup plus court terme qu'une précédente publication sur sa vision sur dix ans. Difficile d'imaginer que les bracelets pourraient être prêts à temps pour la sortie des lunettes connectées de Facebook annoncées pour la fin d'année. Toutefois, la firme travaille actuellement sur ses propres lunettes de réalité augmentée, ainsi que sur son casque de réalité virtuelle Oculus Quest 3, qui pourraient être l'occasion de tester une première version des bracelets.