Pour la première fois, une application « text-to-video » produit des vidéos d’une qualité indéniable. Des clips ultra courts mais bien conçus et prometteurs.

au sommaire

    Avec des applicationsapplications comme Midjourney, Stable DiffusionDiffusion ou plus récemment Adobe Firefly, le secteur des « text-to-imagetext-to-image » a largement fait ses preuves. C'est un des domaines les plus avancés de l'intelligence artificielle et il est courant d'observer des créations remarquables.

    Jusqu'à présent, le secteur text-to-video n'a pas été aussi bien loti. Google Imagen et Make a Video de Meta/Facebook s'apparentent à des projets ambitieux, si ce n'est qu'il nous est pour l'instant impossible de les tester. Quant à Genmo, Kaiber ou Leiapix, ils sont loin de produire des clips dignes de ce nom. Assez souvent, ils se contentent de modifier le décor, ce qui produit des vidéos sans intérêt.

    RunwayML semble être la première société à même de changer la donne. Créée par Cris Valenzuela, sise à New York et ouvertement dédiée à la création d'outils pour artistes, cette start-up se paye le luxe de coiffer GoogleGoogle et Meta au poteau. RunwayML avait déjà produit un essai relativement décent avec Gen-1.

    Une interview sur une plage. © RunwayML

    Ce n'est qu'un début

    Pour la première fois, avec la nouvelle version Gen-2, à partir d'un simple texte, nous avons droit à des vidéos dignes de ce nom. L'outil n'est pas encore parfait et il lui arrive de produire un résultat erroné. Par exemple, nous lui demandons un clip dans lequel un chat poursuit une souris et il sort un clip avec 2 chats ! Parfois aussi, il lui arrive d'omettre un élément important du prompt (« un candidat à la présidence devant un microphone »... Le microphone est là mais pas l'intéressé). Toutefois, le plus souvent, à partir d'une simple requête, nous obtenons des clips cohérents et d'une vraiment belle qualité. Vous en avez plusieurs exemples ici. 

    Ballade dans Fréjus. © RunwayML

    Les clips produits avec Gen-2 sont limités pour le moment à 4 secondes et c'est certes bien restreint. Il faut donc considérer cet outil comme une bande annonce de ce qui va venir. RunwayML compte étendre cette duréedurée progressivement. Mais, en attendant, n’importe qui peut tester Gen-2. 

    Un surfeur Californien. © RunwayML

    Sachez que vous aurez droit à un crédit d'un peu plus d'une centaine de secondes au total pour tester vos prompts, ou d'autres fonctions maison. Car RunwayML est une société qui propose une véritable boîte à outils d'applications d'intelligence artificielle. Les crédits alloués sont utilisables gratuitement sur ces divers services, à la suite de quoi, il faudrait s'abonner. Retenons que c'est amplement suffisant pour tester les prouesses de Gen-2. Les prompts doivent être énoncés en anglais et il faut habituellement une à deux minutes avant d'obtenir un résultat. 

    Un journaliste affalé devant son bureau. © RunwayML