Une étude universitaire met en avant un outil, RoBERT, qui aurait la capacité de distinguer un texte écrit par un scientifique d’un autre produit par ChatGPT.

au sommaire

    Avouons-le : savoir qu'un étudiant ou un rédacteur a pu utiliser ChatGPTChatGPT pour produire un essai ou un article est une idée pour le moins pénible. Divers outils sont apparus pour aider à détecter de tels contenus mais ils ne sont pas d'une haute fiabilité : il leur arrive couramment de se laisser abuser. Et d'ailleurs, cette détection est devenue plus ardue avec le modèle GPT-4 qui produit des textes de bien meilleure qualité que son prédécesseur.

    GPTZero, un outil de détection de contenus générés par IA n’a pas su reconnaître comme tel ce contenu généré par ChatGPT. © GPTZero
    GPTZero, un outil de détection de contenus générés par IA n’a pas su reconnaître comme tel ce contenu généré par ChatGPT. © GPTZero

    Alors, que faire ? Une étude menée par plusieurs universitaires américains et publiée par CellPress affirme qu'il serait au moins possible de distinguer un texte écrit par un scientifique, d'un texte produit par ChatGPT, avec une probabilité proche allant jusqu'à 99 %.

    Pour parvenir à un tel résultat, les chercheurs en question disent avoir mis à contribution avant tout un outil de détection appelé RoBERT. Ils ont toutefois affiné leur analyse et découvert divers facteurs inattendus :

    • les humains auraient tendance à écrire davantage de phrases et aussi de mots dans un paragraphe, notamment des phrases avec plus de 34 mots ;
    • ils ont tendance à utiliser davantage certains termes tels que « cependant », « parce que », « bien que », etc. ;
    • ils auraient tendance à employer davantage de signes tels que « ? », « : » ;
    • etc.

    Les chercheurs ont également remarqué que les universitaires avaient tendance à utiliser davantage de noms propres et d'acronymes, et que les humains étaient portés à citer les noms des savants dont ils évoquaient les travaux, là où ChatGPT pouvait se montrer plus vague.

    Hélas, au bout du compte, l'étude publiée par CellPress ne nous propose aucun outil qui aiderait à tester des cas de figure concrets. Et comme elle se limite à des articles scientifiques, il n'est pas encore possible de savoir si une telle recherche pourrait mener à l'élaboration d'un outil de détection exploitable par tout un chacun.