Avec ce système, la représentation en 3D d'une personne devient modifiable dans n'importe quel décor. © Google

Tech

Google révolutionne la capture de personnes en 3D avec Relightables

ActualitéClassé sous :image 3D , Google , intelligence artificielle

Et si Google avait inventé le « fond vert » du futur ? Des ingénieurs de la firme, spécialisés dans l'intelligence artificielle, ont réussi à créer un procédé pour capturer l'image d'une personne en 3D pour ensuite l'intégrer dans n'importe quelle vidéo. Grâce à un système de LED, la qualité de la lumière et les ombres adaptent le sujet à son nouveau décor.

Filmer des acteurs en 3D pour les intégrer ensuite dans des scènes pose de nombreux défis techniques. Contrairement à un personnage de synthèse, l'image capturée d'une personne réelle est difficilement modifiable. L'un des principaux défauts de la capture volumétrique se situe au niveau de la lumière. L'angle, l'intensité et la qualité de la lumière utilisée pendant la capture ne correspondra pas à celle de la scène dans laquelle le modèle sera ajouté.

Dans un projet baptisé The Relightables, une équipe de chercheurs a trouvé une solution sous la forme d'un énorme dôme rempli de lumières LED. En variant ces lumières selon un motif prédéfini, ils ont été capables de générer un modèle en trois dimensions dont il est possible de changer l'éclairage pour se conformer à n'importe quelle scène.

Cette innovation pourrait révolutionner le cinéma, comme l'a fait le fond vert en son temps. © Google

Un flux de données de 65 Go à la seconde

Le dôme est équipé d'un total de 90 caméras de 12,4 mégapixels fonctionnant à 60 hertz, dont 58 caméras RGB et 32 caméras infrarouges, afin de capturer le sujet sous tous les angles pour générer le modèle 3D. Les sujets sont accompagnés par 331 lumières, chacune composée de 63 diodes LED, synchronisées avec les caméras. Avec tous ces flux vidéo, le système produit un total impressionnant de 65 Go de données à la seconde. C'est comme si on remplissait la mémoire de l'iPhone 11 à chaque seconde...

Les lumières alternent deux motifs d'éclairage, un gradient et un gradient inversé, ce qui permet de capturer le sujet presque simultanément sous deux éclairages différents. Les chercheurs s'appuient ensuite sur l'intelligence artificielle pour générer une vidéo volumétrique à partir des 90 flux vidéo et combiner les deux éclairages afin de créer un modèle dont il sera possible de modifier l'éclairage à la volée.

Cette bulle composée de lumières LED permet d'éclairer le sujet de deux manières différentes, et c'est l'intelligence artificielle qui s'occupe du reste. © Google

Abonnez-vous à la lettre d'information La quotidienne : nos dernières actualités du jour.

!

Merci pour votre inscription.
Heureux de vous compter parmi nos lecteurs !

Cela vous intéressera aussi