Après Dall-E et ChatGPT, OpenAI vient d’annoncer sa nouvelle Intelligence artificielle. Baptisée Point-E, elle est capable de générer des objets 3D sous la forme d’un nuage de points à partir d’un simple texte.

au sommaire

    OpenAI, l'entreprise spécialisée dans l'Intelligence artificielle et qui compte Elon MuskElon Musk parmi ses fondateurs, vient d'annoncer encore une nouvelle IA. Après Dall-E, une IA capable de générer des images à partir d'une ligne de texte, et ChatGPT, un chatbot nouvelle génération qui maniemanie le langage naturel, le dernier projet en date s'attaque à la 3D.

    Point-E fonctionne beaucoup comme Dall-E, à savoir qu'il suffit de lui décrire le résultat que vous voulez obtenir. Cependant, cette fois, il ne faut pas dépeindre une scène mais un objet. L'IA va alors modéliser l'objet en trois dimensions sous la forme d'un nuagenuage de 4 000 points. Le rendu peut ensuite être converti sous forme de mesh (ou maillage) pour être ensuite utilisé dans un logiciel de modélisationmodélisation 3D classique.

    Exemples de phrases données à Point-E et les objets obtenus. © OpenAI
    Exemples de phrases données à Point-E et les objets obtenus. © OpenAI

    Des algorithmes beaucoup plus rapides que tout ce qui existe

    La firme a opté pour une approche en deux étapes, en générant d'abord une image en deux dimensions, comme le fait Dall-E. L'image est ensuite utilisée pour concevoir le modèle en trois dimensions. Pour cette seconde étape, l’IA a été entraînée sur des millions d'objets en 3D, associés avec leur rendu en deux dimensions, afin qu'elle apprenne à faire le lien et ensuite à générer les objets sans aide.

    Ce n'est toutefois pas complètement inédit. Plus tôt cette année, GoogleGoogle a publié DreamFusion, sa propre IA capable de produire des objets 3D à partir d'un texte. Toutefois, les algorithmes de Google nécessitent plusieurs processeurs graphiquesprocesseurs graphiques et des heures de calcul pour générer un objet. Point-E peut créer un objet en une minute ou deux en utilisant une seule carte graphique.

    Les chercheurs espèrent améliorer la qualité des objets générés pour pouvoir les utiliser en impression 3D, et même dans des jeux ou pour l'animation. En plus d’un article détaillé, OpenAI a également publié le code sourcecode source de Point-E sur GitHub, sous licence libre.