Disney fait une démonstration bluffante de deepfake en haute définition

Et si Disney comptait profiter du deepfake pour réutiliser les visages des acteurs décédés ? Les méthodes actuellement utilisées au cinéma pour remplacer les visages sont très longues et chères à réaliser. Une nouvelle technique, basée sur l'intelligence artificielle, vient d'être dévoilée par des chercheurs de Disney Research Studios et de l'École polytechnique fédérale de Zurich.

La particularité de cette méthode de deepfake est de travailler en haute définition avec des images d'un mégapixel. Les chercheurs commencent par analyser des visages, en enregistrant le mouvement de certains points de repère. Chaque visage est ensuite normalisé dans un carré de 1.024 x 1.024 pixels, puis ajouté à une banque d'identités. La même méthode est ensuite appliquée sur la vidéo source. Le décodeur permet ensuite de placer l'un des visages préenregistrés par-dessus celui d'un acteur.

Une méthode beaucoup plus rapide pour le cinéma

Les chercheurs utilisent l’apprentissage profond (deep learning) avec un entraînement progressif, combiné à un système de stabilisation et un algorithme pour conserver la luminosité et le contraste. Les résultats de cette nouvelle technique sont beaucoup plus réalistes qu'avec les précédentes méthodes, notamment sur grand écran.

Bien que les chercheurs ne se prononcent pas sur les éventuelles utilisations, ces deepfakes haute définition permettraient à un studio comme Disney de faire revivre des acteurs morts dans leurs films. Un acteur anonyme jouerait le rôle, et le studio pourrait alors remplacer son visage par celui de n'importe quelle célébrité.

Deepfake : ce nouvel algorithme crée des vidéos truquées inquiétantes

Un nouvel algorithme permet de créer des vidéos de type « deepfake » simplement en saisissant du texte. À ne pas mettre entre toutes les mains.

Publié le 15/06/2019 par Fabrice Auclert

Donner le mouvement à des tableaux ou des photos mythiques de façon très réaliste, c'est l'une des dernières prouesses due à l'intelligence artificielle (IA). Là où elle peut devenir inquiétante, c'est lorsqu'elle peut modifier une séquence vidéo pour faire dire à une personne quelque chose qu'elle n'a jamais prononcé. Ces innovations spectaculaires, baptisées par les Anglophones « deepfake » ne sont pour le moment pas à la portée de n'importe quel ordinateur. Les traitements sont très lourds et il faut des heures voire plusieurs journées pour parvenir au résultat souhaité. Pour accélérer le mouvement, des chercheurs issus de l'université de Stanford, de l'université de Princeton et de l'Institut Max-Planck avec Adobe ont mis au point un algorithme qui simplifie énormément la création de ce type de vidéo. Ainsi, dans leur article publié sur le site du scientifique Ohad Fried de Stanford, ils expliquent qu'il est possible de modifier le script des paroles d'une personne qui a été filmée pour qu'elle énonce naturellement ces modifications.

Un résultat bluffant

Dans l'un des exemples, la personne filmée cite une célèbre phrase du film d'Apocalypse Now : « J'aime l'odeur du napalm au petit matin ». En remplaçant le script du texte « napalm » par « pain grillé », le résultat est bluffant ! La phrase devient totalement anodine, ce qui laisse entrevoir les dangers de l'utilisation d'un tel algorithme tombé dans de mauvaises mains.

Pour parvenir à ce résultat, l'IA analyse un échantillon vidéo d'au moins 40 minutes d'une personne en train de parler. Elle ne s'attache pas uniquement aux mots, mais surtout aux phonèmes et les associe aux mouvements de la bouche et du visage. Pour le moment, l'algorithme ne sait traiter que la langue anglaise qui comporte environ 44 phonèmes. Une fois que la transcription d'une vidéo est disponible, il suffit alors de modifier les quelques mots souhaités pour que l'IA génère la fausse partie et qu'elle passe totalement inaperçue. Les scientifiques expliquent que le procédé employé est adapté aux modifications mineures, mais pas lorsqu'il s'agit de générer un faux discours énoncé par une personnalité.

IA : Samsung donne vie à la Joconde et d'autres tableaux

Fabrice Auclert, publié le 30/05/2019

Grâce à l'intelligence artificielle, Samsung est parvenu à animer de manière très réaliste des tableaux ou des photos. Derrière cette innovation, il y a la technique décriée deepfake, contraction de « deep learning » et de « fake ».

Des chercheurs de chez Samsung ont mis au point un outil capable de créer des vidéos réalistes d'une personne à partir d'une photo. Les techniques de ce genre s'appellent « deepfake », car elles font appel à l'intelligence artificielle et aux réseaux neuronaux utilisés dans le deep learning. Les résultats sont bluffants.

Habituellement, les deepfakes nécessitent de nombreuses données pour créer une vidéo imitant une personne. Avec la nouvelle intelligence artificielle de Samsung, une seule photo suffit, bien que plusieurs images donnent de meilleurs résultats. Elle détecte les éléments clés d'un visage, notamment les yeux, les sourcils, le nez, les lèvres et la mâchoire, et extrapole les éléments invisibles sur l'image.

L’intelligence artificielle donne vie aux portraits

Le système applique ensuite le même procédé sur une vidéo cible d'une personne produisant les mêmes gestes et expressions qui doivent être dupliqués. L'IA construit alors la vidéo de la personne dans l'image source, reproduisant les expressions de la vidéo cible. La qualité est validée par un réseau neuronal antagoniste, où deux algorithmes indépendants s'opposent, l'un générant les vidéos, l'autre qui tente de distinguer les vidéos réelles des fausses. Le résultat est validé lorsque ce dernier juge la vidéo générée réaliste.

Les chercheurs ont montré la puissance de leur système en animant des visages célèbres, comme Marilyn Monroe, Einstein et même la Joconde. Cette technologie a un côté ludique indéniable, mais sera aussi très certainement utilisée à mauvais escient, comme la désinformation et les fake news, ou même le revenge porn...

Aussi ludique qu'un filtre Snapchat, le deepfake peut aussi devenir très dangereux lorsqu'il est mis entre de mauvaises mains. © Samsung, YouTube