Michal Kosinski, professeur de psychologie de l'université de Stanford, s'intéresse à la cognition humaine et artificielle. Il a évalué les performances de différents modèles de langage à des tâches de théorie de l'esprit. Les résultats qu’il obtient sont pour le moins surprenants.
au sommaire
Les récents progrès dans le domaine de l'intelligence artificielleintelligence artificielle fascinent autant qu'ils terrifient. En effet, de nombreuses compétences semblent émerger des grands modèles de langage - traduction littérale de large language model ou LLM - tels que GPT4 d'Open AI pour le plus connu et consort. Serait-ce le cas de la théorie de l'esprit ? Un récent article, publié dans la revue Pnas (Proceeding of the National Academy of Science), apporte des arguments expérimentaux qui poussent a minima à considérer cette hypothèse.
Théorie de l’esprit : kézako ?
La théorie de l'esprit correspond à la capacité générale des êtres humains à se détacher de leurs propres états mentaux afin de connaître les états mentaux (croyances, intentions, émotions, désirs...) d'autrui. C'est une compétence fondamentale pour une espèceespèce sociale comme la nôtre, étant donné qu'elle permet d'avoir accès à quelque chose de radicalement inobservable, à savoir, la vie mentale de quelqu'un d'autre que soi. Bien évidemment, il faut comprendre avoir accès dans le sens d'inférer, de diverses informations et de nombreux signaux, les états mentaux d'autrui.
Pour rendre cela plus concret, imaginez-vous en vacances avec vos amis. Après une matinée consacrée à faire les courses pour la semaine, vous avez envie d'un café. Pendant que vos amis sont occupés à jouer à un jeu de société, vous prenez la boîte contenant les capsules et vous vous faites couler un café. Après l'avoir bu, vous décidez de ranger la boîte dans le placardplacard à côté de la machine à café alors que vous l'aviez prise dans celui situé à côté de l'évierévier, où votre ami Paul l'avait rangée. Après le repas de midi, Paul propose de faire les cafés pour ceux qui en souhaitent. Vous n'avez pas besoin de faire beaucoup d'efforts pour savoir que, si vous ne lui dites rien, il ira chercher la boîte à capsules dans le placard à côté de l'évier. Vous venez de mobiliser votre théorie de l'esprit en prenant en compte le fait que Paul ne disposait pas de l'information mentionnant que la boîte avait changé de place.

La majorité des études en psychologie du développement - la branche de la psychologie étudiant les changements psychologiques chez les individus à travers le temps - suggère que cette capacité générale émerge vers l'âge de 4 ans, même si certaines études indiquent qu'elle pourrait être présente de façon bien plus précoce. Pour tester cette aptitude, on procède généralement avec ce que l'on a coutume d'appeler « le paradigme de la fausse croyance ». L'idée générale est de faire accomplir une tâche à l'enfant qui doit, pour la réussir, prendre en compte la fausse croyance d'autrui, un peu comme dans l'exemple des capsules de café.
Évaluer les LLM comme les enfants : une tendance à la mode
L'article de recherche de Michal Kosinski n'est pas un cas isolé. Tester les LLM à l'aide des tâches issues de la psychologie du développement est une véritable mode qui s'est emparée des chercheurs et chercheuses dans le domaine de l'intelligence artificielle. De nombreux auteurs plaident en faveur de telles expériences étant donné les limites méthodologiques posées par la simple évaluation conversationnelle, que ce soit avec les enfants ou les IA.
Une mode qui ne semble pas venir de nulle part. Le père de l'informatique moderne, Alan TuringAlan Turing, tenait déjà ces propos en 1946 : « Au lieu de produire un programme qui simule l'esprit adulte, pourquoi ne pourrait-on pas en produire un qui simule celui de l'enfant à la place ? Si celui-ci était ensuite soumis à un programme d'éducation approprié, on obtiendrait le cerveau adulte. » C'est plus ou moins cette idée de Turing que sont venus matérialiser les modèles d'apprentissage par renforcement à base de réseaux de neurones artificiels, responsables des progrès fulgurants des dernières années.
Depuis, beaucoup d'équipes de recherche ont tenté de construire des réseaux de neurones pour qu'ils deviennent excellents spécifiquement en théorie de l'esprit - ce qui, globalement, s'est soldé par un échec, selon Michal Kosinski. Ce dernier fait le pari que la théorie de l'esprit, comme de nombreuses autres capacités, émerge à partir du langage. C'est dans cette optique qu'il a entrepris de faire passer une batterie de tests à de nombreux LLM.
Plus de 75 % des tâches résolues par GPT4
Afin d'évaluer différents modèles de langage, Michal Kosinski a utilisé deux tâches expérimentales connues sous le nom de « tâche du contenu inattendu » et « tâche du transfert inattendu ». La première consiste à présenter un scénario racontant l'histoire d'un personnage et d'un paquetpaquet avec une étiquette (par exemple, « café ») et un contenu incongruent avec l'étiquette (par exemple « thé »). Le personnage n'a jamais vu le paquet ni son contenu auparavant. Pour résoudre la tâche, le participant - c'est-à-dire l'enfant ou le LLM - doit comprendre que le personnage possède la croyance fausse que ce qui se trouve à l'intérieur du paquet correspond à l'étiquette. La seconde consiste en la même chose que notre exemple avec le café, sauf qu'un observateur - l'enfant ou le LLM - est témoin de la scène (du scénario pour GPT4) et doit par conséquent deviner où le personnage va aller chercher ce qu'il cherche (comme dans le cas de Paul et la boîte de capsules de café).

À l'aide de nombreux prompts, de méthodes pour réduire de nombreux biais (compréhension, effet de fréquence, hypothèse de l'erreur, présence des expériences dans les données d'entraînements, etc.), Michal Kosinski a pu déterminer que GPT4 parvenait à résoudre 75 % des scénarios proposés, comportant plusieurs variantes et plusieurs sous-tâches. C'est à peu près ce que l'on observe chez un enfant de 6 ans.
Mais alors, GPT4 a-t-il une théorie de l'esprit comme les humains. Il n'y a pas de réponse simple à cette question car cela dépend de débats sémantiques et philosophiques assez touffus sur la question de la compréhension chez les IA et des conditions pour dire qu'une entité - IA ou non - possède ou non une capacité donnée. Pour celles et ceux que le débat intéresse, regardez la vidéo ci-dessous.
La preuve définitive que ChatGPT ne comprend rien, Monsieur Phi. © YouTube
Néanmoins, il est vrai que nous avons du mal à comprendre ce que signifierait réellement qu'une intelligence artificielle possède une théorie de l'esprit. Chez les humains, cette capacité ne semble pas uniquement liée au langage, mais également à la conscience de soi et aux relations sociales. Ce n'est pas une faculté strictement analytique qui permet de résoudre des scénarios textuels, mais bien une compétence perceptive et sociale qui permet d'analyser des scènes perceptives complexes.
À l'avenir, il serait intéressant d'évaluer GPT4 et d'autres modèles d'IA, non plus sur des scénarios textuels, mais éventuellement sur des vidéos, afin d'observer si les résultats sont similaires.
Ce qu’il faut
retenir
- La théorie de l'esprit est la capacité générale que possède les humains leur permettant d'inférer les états mentaux des autres à partir de simples observations ;
- Une récente étude montre que GPT4 aurait les mêmes performances qu'un enfant de 6 ans en terme de performance aux tâches classiques pour évaluer la théorie de l'esprit ;
- Pour autant, peut-on dire que GPT4 a une théorie de l'esprit ? La réponse à cette question dépend de débats sémantiques complexes sur la question de la compréhension chez les IA et des conditions pour dire qu’une entité - IA ou non - possède ou non une capacité donnée.