Microsoft travaille sur un système de réalité augmentée qui s’appuie sur un capteur Kinect et un vidéoprojecteur afin d’étendre l’action d’un jeu au mur d’une pièce, en y projetant des décors et des effets visuels. La société américaine assure qu’il ne s’agit que d’un projet de recherche, mais le concept semble très abouti. Il pourrait venir compléter la future console XBox qui sera dévoilée le 21 mai.

au sommaire

    En janvier dernier, MicrosoftMicrosoft dévoilait lors du salon Consumer Electronic Show le concept IllumiRoom. Il s'agit d'un système de réalité augmentée destiné à renforcer la sensation d'immersion dans un jeu vidéo, par projection des effets visuels synchronisés sur le murmur qui entoure le téléviseur. Ainsi, le décor d'une scène d'action peut dépasser le cadre de l'écran, afin d'augmenter le champ de vision ou d'amplifier une ambiance, par exemple une transition entre le jour et la nuit.

    Techniquement, le système repose sur le capteurcapteur de détection des mouvementsmouvements Kinect, couplé à un vidéoprojecteur, le tout pouvant être installé sur une table basse en face de l'écran. Le dispositif est relié à la console de jeu vidéo XBox par une connexion sans fil. Pour le moment, Microsoft assure qu'IllumiRoom n'est qu'une « proof of concept » (preuve de concept), une démonstration de faisabilité pour laquelle il n'y a pas encore de finalité commerciale. Pourtant, ledit concept semble déjà très abouti, comme le prouve la dernière vidéo de démonstration et l’article relatant le travail de recherche réalisé sur IllumiRoom. Le tout a été présenté il y a quelques jours à Paris, lors de la Conference on human factors in computing systems (CHI 2013).


    Dans cette vidéo, Microsoft livre plusieurs exemples des effets et ambiances qu’IllumiRoom peut créer par projection sur le mur d’une pièce. Selon les besoins et l’action du jeu, le système de réalité augmentée est capable de prolonger le décor pour étendre le champ de vision, simuler visuellement l’effet d’une explosion, ou encore jouer sur les changements d’éclairage et les couleurs. L’idée étant de créer un univers plus propice à l’immersion du joueur. © Microsoft

    IllumiRoom sollicite la vision périphérique

    « Le meilleur moyen de renforcer la sensation d'immersion est d'étendre le contenu de l'écran à la pièce, pour remplacer la réalité physiquephysique par la réalité du jeu », explique Microsoft. Pour mettre en œuvre ce principe, le géant américain a travaillé sur la vision humaine périphérique qui est plus sensible aux mouvements qu'aux couleurscouleurs et aux formes.

    Dans le concept IllumiRoom, l'écran principal vise la fovéa, la zone centrale de l'œil où la perception des détails est la plus précise, tandis que le système de vidéoprojection va traiter les effets qui stimulent la vision périphérique. C'est pour cela qu'IllumiRoom n'a pas besoin de restituer les couleurs avec la même définition que celle du téléviseur, et qu'il peut s'accommoder de la présence de meubles ou d'éléments de décor sur le mur qu'il utilise.

    « Les illusions [terme employé par Microsoft pour qualifier les effets visuels d'IllumiRoom, NDLRNDLR] ne cherchent pas à reproduire une scène avec précision, mais à introduire le mouvement dans la vision périphérique », précisent les chercheurs à l'origine du projet.

    Calibration automatique grâce au capteur Kinect

    Pour fonctionner, IllumiRoom s'appuie sur le capteur Kinect qui détecte la couleur, les dimensions de la pièce et la profondeur de champ, afin de calibrer automatiquement le système. Le projecteurprojecteur diffuse les effets voulus correspondant à l'action du jeu en temps réel. Selon Microsoft, le système peut fonctionner dans n'importe quelle pièce et sans que l'utilisateur n'ait à faire un quelconque réglage préalable. Une fois la calibration initiale effectuée, le capteur Kinect pourrait être replacé dans sa configuration d'origine, c'est-à-dire en face du joueur.

    Microsoft a déjà développé une dizaine d'effets visuels afin d'illustrer tout le potentiel de son invention. Ils reposent sur quatre techniques d'affichage qui ont des finalités différentes. La première consiste à projeter l'intégralité du décor d'un jeu autour de l'écran afin de renforcer la sensation d’immersion. Deuxième solution, ne diffuser que les contours des formes présentes dans la scène en noir et blanc, afin d'augmenter le contraste. La troisième option limite la projection au seul mur vierge de tout meuble et objet qui entoure le téléviseur, et ce afin de s'adapter aux spécificités des intérieurs des consommateurs. La dernière technique, dite « sélective », n'affiche que certains éléments. Par exemple, dans un jeu de tir à un seul utilisateur, seules seront projetées les explosions ou les trajectoires des balles.

    La réalité augmentée sert également à pousser le réalismeréalisme un peu plus loin. Microsoft cite le cas de figure d'un jeu d'action où un ennemi lance une grenadegrenade qui va sembler sortir de l'écran et rebondir sur la table du salon avant d'exploser en projetant des éclats dans la pièce. Le souci du détail peut aller jusqu'à reproduire l'effet d'une explosion en provoquant une distorsion de la géométrie de la pièce matérialisée par une vaguevague radiale sinusoïdale. Microsoft assure que les possibilités offertes par IllumiRoom n'ont pour limite que l'imagination des développeurs de jeux vidéo.

    Les illusions intégrées au code source plus spectaculaires

    Certains effets nécessitent un accès au code source du jeu vidéo. Ce qui impliquera que les développeurs de jeu intègrent les fonctionnalités d'IllumiRoom au cours de la création. Microsoft évoque une interface de programmation (API) qui permettra aux développeurs d'activer des effets correspondant à l'action de jeu, comme changer l'apparence des surfaces, contrôler l'éclairage ambiant ou insérer des objets en réalité virtuelleréalité virtuelle.

    Mais IllumiRoom peut aussi fonctionner avec des jeux existants, sans modification du code source. Pour cela, les informations sont recueillies au niveau de la manette de jeu, pour déclencher un effet en fonction du bouton utilisé ou du mouvement fait par le joueur. L'autre option consiste à analyser l'image du jeu en temps réel, en utilisant une carte d'acquisition vidéo pour activer l'illusion voulue. Cependant, Microsoft indique que les effets ne seront pas aussi nombreux et complexes que s'ils sont intégrés à la base dans le code source du jeu.

    Des effets pour les jeux vidéo et les films

    Mais au-delà du jeu, la firme de Redmond pense que cette technologie peut également servir pour les programmes TV et les films, en offrant des vues panoramiques. Exemple d'un match de football où l'action principale serait diffusée sur le téléviseur, et où l'affichage périphérique projetterait les tribunes avec les spectateurs. Microsoft va même encore plus loin en imaginant que les réalisateurs de films intègrent directement des effets pour IllumiRoom. « Dans le prochain James Bond, une grenade pourrait-elle exploser dans votre salon ? », s'interrogent les chercheurs.

    Malgré le discours officiel, on comprend vite qu'IllumiRoom est bien plus qu'un simple projet de recherche à la finalité incertaine. D'ailleurs, le concept a fait l'objet d'un dépôt de brevet en mars 2011. Mais Microsoft souligne qu'il lui faut encore finaliser un produit commercialisable, évaluer son coût et ses prérequis techniques. Autant de conditions qui ne relèvent pas de la gageure pour une telle entreprise...

    « Le concept [IllumiRoom] pourrait être développé pour une console de nouvelle génération avec des jeux adaptés à l'origine, ou bien être utilisé avec des consoles existantes par des joueurs qui créeraient des scripts pour "modder" leurs jeux préférés », glissent les chercheurs. Or justement, la prochaine console XBox sera dévoilée le 21 mai. L'occasion d'en savoir plus quant aux intentions de Microsoft avec IllumiRoom ? À suivre.