Il suffit d'écrire quelques mots pour que l'IA de Nvidia affiche en temps réel des images correspondantes. Impressionnant !
au sommaire
Saisir une phrase et voir apparaitre à l'écran au fur et à mesure des images photoréalistes l'illustrant, c'est la prouesse que parvient à réaliser une Intelligence artificielle mise au point par Nvidia. Baptisée GauGAN 2, il s'agit d'un version évoluée de cette IA, puisque GauGAN avait déjà été présenté en 2019. À l'époque, l'IA savait déjà transformer des croquis en images photoréalistes. Nvidia propose d'ailleurs un logiciel baptisé Canvas pour utiliser ce procédé. La seule contrainte est que le logiciel nécessite une carte graphique puissante de la marque pour pouvoir fonctionner.
Pour transformer les mots en images, GauGAN 2 utilise un modèle d'IA génératif particulier qui a été entraîné à partir de 10 millions d'images de paysages. Il ne sait donc pas vraiment improviser si les mots clés ont plusieurs sens ou s'ils sont trop subtiles, mais ce n'est que le début.
La version 2.0 de « Dessine-moi un mouton » avec ces simples mots « Peignez-moi une image ». La recherche de NVIDIA montre que la démo d'art GauGAN AI répond maintenant aux mots. © NVIDIA Developer
Mixer les mots clés et les croquis
Mieux encore, il est possible de mixer les fonctions de Canvas et celles des mots clés pour combiner le texte et des dessins. Le procédé permet d'aller plus loin dans la personnalisation du rendu en s'appuyant sur le croquis.
Sur son blogblog, le fondeur a publié une petite vidéo qui montre GauGAN 2 à l'œuvre. Sur une page web, l'utilisateur saisi progressivement des mots clés, tels que ocean waves hitting rocks on the beach (« les vaguesvagues de l'océan frappent les rochers sur la plage ») et l'on voit s'afficher les images correspondantes au fur et à mesure de la frappe. Impressionnant ! Nvidia propose de tester l'IA depuis un navigateurnavigateur mais lors de nos tentatives, la page ne répondait pas.
