Grâce au deep learning, les chatbots seront bientôt capables de tenir des discussions quasi naturelles. © Sergey Nivens, Shutterstock

Tech

Google dévoile Meena, un chatbot presque humain

ActualitéClassé sous :intelligence artificielle , chatbot , Google Talk Chatback

Parce que les « chatbot » actuels sont très spécialisés, Google travaille sur le développement d'un agent conversationnel quasi universel. Le but : faire en sorte qu'il soit capable de discuter de tout et n'importe quoi. À cet exercice, Meena se rapproche des humains.

Des chercheurs de l'équipe Google Brain, spécialisée dans le deep learning (apprentissage profond), viennent de présenter Meena, un chatbot capable de tenir des conversations de manière beaucoup plus naturelle que d'autres agents conversationnels. Ils le qualifient de modèle conversationnel neuronal qui a été entraîné de bout en bout avec 2,6 milliards de paramètres.

Meena repose sur l'architecture Evolved Transformer seq2seq, et se compose d'un seul bloc d'encodage qui lui permet de comprendre les phrases de son interlocuteur et le sujet de la discussion, et de 13 blocs de décodage pour formuler sa réponse. Les chercheurs ont utilisé 341 Go de texte en provenance de conversations sur les réseaux sociaux pour entraîner le chatbot. Leur objectif était de réduire la perplexité, autrement dit l'incertitude dans la prédiction du prochain mot dans la conversation.

Le premier bloc d'encodage permet à Meena de cerner le sujet de la discussion. © Google

Un score proche des échanges entre humains

Un des problèmes pour évaluer la performance de Meena était l'absence de métrique fiable. Les chercheurs ont donc créé une nouvelle mesure appelée Sensibleness and Specificity Average (SSA). Pour ce faire, ils ont collecté une centaine de conversations pour chaque agent, composées de 1.600 à 2.400 tours (ou réponses). Des volontaires ont dû ensuite noter chaque réponse, si elle semblait raisonnable et crédible dans le contexte, et si elle était spécifique au contexte et non une réponse passe-partout comme « oui » ou « moi aussi ». Le SSA est la moyenne des notes sur ces deux paramètres.

Avec cette mesure, Meena a largement battu les autres chatbots, avec un score de 79 % contre 56 % pour les meilleurs. Il se rapproche même des humains, notés à 86 %. Les chercheurs ont également découvert qu'il existe une corrélation inverse entre la perplexité et le SSA, ce qui signifie que la perplexité pourrait être utilisée pour évaluer automatiquement les performances des agents conversationnels, permettant d'accélérer leur développement.

Abonnez-vous à la lettre d'information La quotidienne : nos dernières actualités du jour.

!

Merci pour votre inscription.
Heureux de vous compter parmi nos lecteurs !

Cela vous intéressera aussi