Les photos animées comme dans Harry Potter deviennent réalité

Des personnages qui sortent du cadre de leur photo en laissant l'arrière-plan derrière eux, cela n'existe qu'à grands renfortsrenforts d'effets spéciaux dans la saga Harry Potter avec les photos animées. Avec d'autres chercheurs, Chung-Yi Weng, un doctorant de l'université de Washington (États-Unis), est parvenu à rendre cet effet possible en mettant au point un puissant algorithme. Dans leur publication, ils décrivent comment ils parviennent à extraire le sujet principal d'une photo en le modélisant, pour ensuite le faire bouger de façon réaliste sans pour autant laisser une zone de découpe noire à son emplacement initial sur la photo. Le résultat est impressionnant !

Les chercheurs ont montré plusieurs exemples et notamment le célèbre basketteur Stephen Curry évoluant de façon naturelle hors de sa photo comme s'il avait été filmé. L'effet est de surcroît appliqué en 3D, ce qui est encore plus surprenant. Dans un autre exemple, c'est une œuvre de Picasso (Jeune fille avec un voilier)) qui prend vie, alors que le personnage sort en marchant de sa toile. Pour parvenir à ce résultat, les chercheurs se sont appuyés sur un programme appelé SMPL, développé par MicrosoftMicrosoft et l'Institut Max-PlanckPlanck. Au final l'algorithme mis au point par les chercheurs a été baptisé « Photo Wake-Up ».

En réalité, cette technique n'est pas nouvelle. Dès 2007, des chercheurs sont parvenus à modéliser un personnage 2D issu d'une photo pour le faire évoluer en 3D. Le souci, c'est que les proportions n'étaient absolument pas respectées et au mieux, les texturestextures du personnage étaient simplement appliquées sur un modèle 3D générique qui ne correspondait pas aux dimensions du sujet.

La vidéo, ci-dessus, montre comment les chercheurs parviennent à modéliser en 3D un personnage et à l’extraire du cadre de sa photo en 2D. La fin de la vidéo montre les évolutions du procédé depuis une dizaine d’années. © University of Washington

Quand l’algorithme n’imagine pas ce qui est masqué

Il faut dire que jusqu'aux techniques développées par le doctorant, les scientifiques buttaient toujours sur un élément qui rend difficile la manipulation : l'estimation de la pose en trois dimensions que prend le personnage sur la photo en 2D. Pour l'ordinateur, il est difficile d'identifier et de générer les éléments du corps masqués les uns par les autres. Par exemple, sur une simple photo, pour l'algorithme savoir si le personnage a les bras croisés est compliqué. C'est encore pire pour lui lorsqu'il a les jambes croisées.

C'est sur ce point précis que Weng et ses collaborateurs sont intervenus. À partir de la photo, un maillage en 2D du corps du sujet est constitué. Ce procédé permet déjà d'identifier les éléments du corps dans son environnement. Ensuite les différentes parties du corps, jambes, bras, tête, torse sont précisément déterminées. Le maillage de chacun de ces éléments est alors converti et déformé en 3D. L'équipe porteporte une attention particulière à la tête, sur laquelle le regard a tendance à se concentrer. Ainsi, leur algorithme identifie la direction du regard et l'angle de la tête afin de constituer un maillage cohérent. Au final, le résultat est spectaculaire, puisque le maillage 3D est constitué à partir de l'image 2D alors qu'auparavant, l'image du sujet était extraite et appliquée sur un modèle 3D préexistant.  

Boucher les trous de l’arrière-plan

Tout est automatisé, mais il reste possible d'ajuster manuellement l'orientation des différents membres du squelette par rapport au corps pour corriger d'éventuelles erreurs d'animation. Lorsque le sujet est en mouvementmouvement, un autre algorithme vient combler les trous de l'arrière-plan en le remplissant en interpolant les éléments manquants. Le personnage en trois dimensions peut alors sortir de la photo, courir, sauter, s'asseoir...

Le procédé associé au principe de réalité augmentée pourrait bien changer la façon dont on interagit avec les photos, ou encore les chefs-d'œuvre dans un musée d'art.