Castle in the Sky est une IA qui remplace automatiquement le ciel dans les vidéos pour ajouter un château volant ou un vaisseau spatial, ou changer la météo. © Zhengxia Zou
Tech

Cette IA ajoute des châteaux volants et des vaisseaux spatiaux à vos vidéos

ActualitéClassé sous :intelligence artificielle , Deepfake , vidéo

[EN VIDÉO] Cette IA incruste des effets étonnants dans un paysage  La chercheuse Zhengxia Zou, de l'université du Michigan, a récemment créé une intelligence artificielle capable de modifier un paysage du tout au tout en incrustant des effets étonnants dans le ciel. © Zhengxia Zou 

Une nouvelle IA baptisée « Castle in the Sky » est capable de remplacer automatiquement le ciel dans des vidéos. Créé par un chercheur de l'université du Michigan, l'outil utilise l'apprentissage profond pour ajouter des éléments comme des vaisseaux spatiaux ou des châteaux volants, ou changer la météo.

Depuis quelques années, de nombreux outils s'appuient sur l'intelligence artificielle pour truquer les vidéos. Ces deepfakes consistent généralement à remplacer le visage d'une personne, ou à lui faire tenir des propos qu'elle n'a pas prononcés. Zhengxia Zou, un chercheur postdoctoral à l'université du Michigan, a mis au point un nouvel outil également basé sur l'apprentissage profond, mais qui remplace automatiquement le ciel.

Castle in the Sky est capable d'ajouter dans une vidéo un château volant, un vaisseau spatial ou d'autres éléments comme des planètes, des lunes ou un ciel étoilé. Toutefois, l’IA ne se contente pas de modifier le ciel, elle adapte aussi l'éclairage de la scène pour obtenir des résultats très réalistes. De plus, l'outil calcule automatiquement le déplacement du ciel d'une image à l'autre afin de suivre les mouvements de la caméra.

Une IA capable de changer la météo

Les méthodes classiques pour remplacer le ciel se basent sur des images fixes ou nécessitent les données des capteurs des smartphones afin de placer le ciel correctement. Castle in the Sky utilise une technique purement visuelle, et fonctionne donc avec toutes les sources de vidéos. Plutôt qu'un réseau antagoniste génératif (GAN), habituellement utilisé dans ce genre d'outil, Castle in the Sky s'appuie sur un réseau neuronal convolutif (CNN). Sur un ordinateur équipé d'une carte graphique Nvidia Titan XP, l'IA peut changer le ciel en temps réel, à 24 images par seconde, sur une vidéo avec une définition de 640 x 320 pixels.

L'outil propose également une seconde fonction, puisqu'il est capable de changer la météo, passant d'un temps couvert à ensoleillé, ou en ajoutant de la pluie ou un orageCastle in the Sky ne nécessite aucune interaction de la part de l'utilisateur. L’IA détecte automatiquement les limites du ciel et préserve tout élément qui s'y superpose, comme un arbre ou un lampadaire.

Abonnez-vous à la lettre d'information La quotidienne : nos dernières actualités du jour. Toutes nos lettres d’information

!

Merci pour votre inscription.
Heureux de vous compter parmi nos lecteurs !