Outpainting : qu'est-ce que c'est ?

L'outpainting ou uncrop est une opération grâce à laquelle il est possible de demander à l’intelligence artificielle de compléter des parties manquantes d'une image.

Il existe de nombreuses situations dans lesquelles il peut être utile de recourir à l'outpainting. Par exemple, vous disposez d'une image au format carré issue d'une IA générative d’image. Et vous souhaitez l'exploiter au sein d'une vidéo - soit un format 16/9ème. Si vous soumettez l'image à une applicationapplication de outpainting / uncrop, l'intelligence artificielle va ajouter des éléments sur les bords gauche / droite d'une manière logique. Ainsi, si un personnage se trouve dans une rue, l'opération va ajouter des immeubles, des automobilesautomobiles et autres éléments susceptibles de figurer dans le décor.

Inversement, vous pouvez prendre une image au format paysage et la transformer en image carrée ou orientée en mode portrait, l'application complémentant les parties manquantes en haut et en bas.

Le seul souci que certains pourraient trouver à l'usage de telles applications est que, tout en partant d'une photographiephotographie, nous pouvons obtenir des images dans lesquelles les éléments ajoutés ne correspondent à la réalité. Le mieux est d'indiquer dans les légendes d'une telle photographie si elle a fait l'objet d'une telle opération.

Illustration sur les cryptomonnaies produite par Dall.e 3, au format carré. © D.ichbiah avec Dall.e3 de OpenAI

L’image est soumise à une application de outpainting, VMake AI. Celle-ci étend l’image sur la gauche comme sur la droite. VMake AI propose 4 images potentielles avec à chaque fois des éléments différents sur les bords. © VMake AI

L’image que nous avons sélectionnée au sortir de l’outpainting. © OpenAI, VMake AI

Difficultés et limites de l'outpainting

Bien que l'outpainting en tant que technologie d'intelligence artificielle présente des caractéristiques impressionnantes, elle fait face à plusieurs difficultés et limites qu'il convient de considérer :

• Complexité des entrées : les entrées très complexes ou ambiguës peuvent poser des problèmes au modèle, entraînant des compléments générés qui manquent de cohérence ou ne correspondent pas au contexte prévu.
• RéalismeRéalisme : atteindre des résultats photoréalistes peut s'avérer ardu. Bien que l'outpainting puisse produire des compléments visuellement attrayants, leur réalisme complet n'est pas toujours assuré.
• Compréhension du contexte : même si le modèle peut partiellement cerner le contexte lors de l'outpainting, il peut mal interpréter des relations spécifiques dans l'entrée, affectant la qualité du résultat généré.
• Limitation des données d'entraînement : les capacités du modèle dépendent largement des données sur lesquelles il a été entraîné. Un manque de diversité ou d'exemples pertinents dans les données d'entraînement peut entraîner des résultats inférieurs à l'optimum.
• Questions éthiques : comme pour tout contenu généré par l'intelligence artificielle, des préoccupations éthiques subsistent. Une utilisation abusive ou une diffusiondiffusion inappropriée d'images générées par l'IA peut engendrer des problèmes de confidentialité ou de propagation d'informations erronées.
• Contrôle limité de l'utilisateur : les utilisateurs peuvent parfois avoir un contrôle restreint sur les résultats générés par certaines plateformes en ligne, réduisant la possibilité de personnaliser les résultats selon leurs préférences.

Malgré ces défis, l'outpainting demeure une avancée notable dans le domaine de la créativité générée par l'IA. Avec les progrès continus de la recherche en intelligence artificielle, on peut anticiper le dépassement de ces limites et une évolution de la technologie, ouvrant de nouvelles possibilités en matièrematière d'expression artistique et de résolution créative de problèmes.