Norman, la première IA psychopathe

Le comportement d'une intelligence artificielle (IA) peut-il être significativement influencé par les données qui servent à sa formation ? Oui, comme le démontre une nouvelle une équipe du MIT (Massachusetts Institute of Technology) en créant ce qu'elle présente comme la toute première « IA psychopathe ».

Baptisée Norman (en référence au personnage Norman Bates dans le film Psychose, d'Alfred Hitchcock), elle est destinée à la description d'images. Son réseau neuronalréseau neuronal d'apprentissage profondapprentissage profond a été entraîné à l'aide de photos montrant des morts violentes ou horribles puisées sur un groupe de discussion Reddit. Ses réactions ont ensuite été observées au travers du test des taches d'encre, dit de Rorschach, puis comparées à celle d'une IA à la vocation identique mais entraînée avec des données plus neutres, comportant des photos de personnes et d'animaux.

Le MIT vous invite à aider Norman à s’adoucir

Bilan, les descriptions proposées par Norman sont passablement différentes et toutes empreintes de violence. Par exemple, là où l’intelligence artificielle standard voit un vase avec des fleurs, Norman voit un homme se faire abattre. Le site WebWeb dédié à ce projet liste ainsi une série d'exemples qui ne laissent aucun doute quant à l'influence des données source sur le comportement des deux programmes.

Plusieurs études ont déjà démontré les risques graves que représente la présence de biais dans les jeux de données servant à l'entraînement des algorithmes. C'est le cas notamment des travaux conjoints du MIT et de l'université de Stanford sur trois programmes d'analyse faciale qui présentaient des biais fondés sur le type de peau et le sexe. Dans le cas de Norman, les internautes sont invités à « aider Norman à se réparer » en fournissant leur propre description des taches d'encre via un Google doc.