Les biais, ces sortes de raccourcis pris par le cerveau, mènent à des conclusions ou des décisions faussées du point de vue de la réalité. Courants et souvent implicites, ils sont reproduits mécaniquement par l’intelligence artificielle et peuvent entraîner des sujets de discrimination, notamment au niveau du sexisme.
au sommaire
Le 3 mars prochain, le Village By CA Provence Côte d'Azur organise une conférence et une table ronde autour de « Langage naturel, Intelligence artificielle et lutte contre les discours sexistes » en partenariat avec Futura Science et le ClusterIA Côte d'Azur. À cette occasion, un live Instagram sera réalisé sur le compte du Village By CA PACA. Y participera Unbias, une startup qui a créé le premier modèle qui « débiaise » le sexisme ordinaire en langue française dans les intelligences artificielles (IA). Daphné Marnat, cofondatrice et dirigeante de Unbias, nous en livre les enjeux et méthodes.
Futura : Qu’appelle-t-on un biais algorithmique ?
Daphné Marnat : Il est vrai que ce qu'on appelle biais est un peu un concept valise qui recouvre beaucoup de définitions et sens différents. Je dirais, du point de vue de l'anthropologue, que ce sont des sortes de raccourcis pris par le cerveaucerveau, qui mènent à des conclusions ou des décisions faussées du point de vue de la réalité. Ils logent au cœur de nos représentations, souvent implicites, il est souvent difficile d'en avoir conscience et de les éviter. Ils se matérialisent dans nos productions langagières, textuelles notamment, et sont reproduits mécaniquement par l'intelligence artificielle. L'anthropologie, l'ethnologie ont toujours interrogé et analysé ces biais car ils peuvent influer sur l'observation des comportements et des pratiques sociales et donner une lecture subjective d'une réalité objectivée. Du point de vue de la science de l'information, le biais est fondamental puisque sans lui, le cerveau ou les machines ne peuvent faire la différence entre deux informations. Aussi, en ce qui concerne la question des discriminations, je retiens la définition anthropologique. Dans le cas de l'apprentissage machine, ces biais peuvent provenir de biais cognitifs des data scientists, donc un mécanisme de pensée à l'origine d'une altération du jugement, ou statistiques, car ils se logent dans les données d'apprentissage, et le processus d'apprentissage machine a tendance à les amplifier.
Futura : Quels impacts néfastes ces biais peuvent-ils entraîner pour une intelligence artificielle ?
Daphné Marnat : Le danger d'un biais algorithmique est qu'il peut mener à des résultats faussés et engendrer des formes de discrimination. Tay, le chatbot créé par MicrosoftMicrosoft en 2016 et entraîné sur des corpus de texte provenant de TwitterTwitter, a par exemple été suspendu après à peine une journée pour avoir généré des messages misogynes, racistes, ou antisémites, qualifiant par exemple le féminisme de cancercancer. Certaines plateformes de recrutement surreprésentent les postes techniques pour les hommes et à l'inverse les annonces liées aux métiers du soin pour les femmes. Cela peut mener aussi à des biais raciaux des algorithmes de reconnaissance faciale, qui ont du mal à reconnaître des visages aux carnations foncées ayant été en majeure partie entraînés sur des visages à peau claire. Autre exemple, les outils de traduction en ligne traduisent systématiquement « nurse » par « infirmière », même si dans la phrase on comprend que c'est un homme.
Futura : Pourquoi avoir choisi alors le sujet du sexisme ?
Daphné Marnat : Les déclarations d'intention sur l'intelligence artificielle, comme le rapport Villani, se multiplient mais peu d'outils technologiques sont produits pour permettre aux data scientistsdata scientists d'agir concrètement. Unbias est donc né de la volonté de passer à l'action et de donner les moyens techniques au développement d'une IA éthique. C'est pour cette raison que moi, anthropologue de formation appliquée à l'innovation, je me suis associée à Benoît dal Ferro, data scientist. Nous devions faire nos preuves, alors autant s'attaquer au plus difficile ! Pour commencer, nous avons choisi de réaliser une preuve de concept sur le sujet du sexisme ordinaire en langue française. Si le sexisme hostile est facile à identifier car il s'exprime par des mots, des insultes, le sexisme ordinaire est quant à lui plus difficile à traiter car il se loge dans les représentations, le symbolique, comme associer une compétence à un genre. Il faut donc pour le traiter que les machines soient capables de décoder des concepts, ce symbolique caché dans le langage. Puis, nous avons choisi le français qui, comme toute langue latine, est très genré et avec une règle grammaticale discutée mais établie : le masculin l'emporte sur le féminin. L'idée est de parvenir à une langue épicène, c'est-à-dire qui n'est pas discriminante du point de vue du genre.
Futura : Comment y remédier ?
Daphné Marnat : Combattre le sexisme dans l'IA, c'est évidemment diversifier les équipes tant en genre qu'en compétence. Selon l'Unesco, 22 % des professionnels de l'IA à travers le monde sont des femmes. Et je dirais que l'intelligence artificielle n'est pas que le domaine de la data science, de l'algorithme, d'autres sciences ont beaucoup à lui apporter. La solution peut être aussi technique. Nous avons ainsi créé un algorithme pour mesurer les représentations féminines et masculines dans les modèles ou les corpus et voir leur évolution au fur et à mesure de l'apprentissage. Cela permet au data scientist d'évaluer si son modèle a tendance à privilégier les représentations féminines ou masculines, et donc de prendre des décisions possiblement sexistes. Cela fait sens surtout pour les modèles qui attribuent des scores à des profils de clients, qui font matcher les annonces d'emploi avec des candidats, sur les traducteurs automatiques. Nous sommes en train d'entraîner une machine à écriremachine à écrire en langue épicène, l'ambition est forte, car même l'humain a des difficultés à le faire, nous n'avons pas d'exemple à lui montrer. Notre seul moyen c'est la puissance algorithmique, les mathématiques en quelque sorte. Comprendre le sexisme n'est pas si simple, c'est pourquoi dans le processus de création de nos algorithmes nous faisons une grande place aux sciences humaines, linguistes, philologues, sociologues, qui travaillent depuis longtemps sur ces questions et sont à même de nous aiguiller sur les bonnes pistes de travail.
Futura : Comment votre solution est-elle perçue par les entreprises et administrations qui utilisent des intelligences artificielles ?
Daphné Marnat : La machine peut aider à mettre en œuvre le changement que la plupart des grands acteurs institutionnels et économiques déclarent initier, notamment à travers leur politique RSE. Nous sommes d'ailleurs toujours bien reçus par les entreprises ou administrations surtout que notre produit peut être implémenté sous la forme d'un add-on, donc une brique logicielle à ajouter à un système, très léger en coût et sans risque pour les modèles testés. Mais si l'intention est bien présente, la mise en applicationapplication est poussive. Je pense que sans obligation légale, nous allons continuer à rester dans une sortie d'inertieinertie car, face à leur réalité industrielle, de développement, la lutte contre ces formes de discrimination au niveau algorithmique n'est pas une priorité. On nous rétorque que cela serait une contrainte de plus, un frein à l'innovation. Nous avons vécu tout à fait le contraire, ayant développé sous contrainte : peu de corpus disponibles, de budget pour le calcul, peu de puissance de calcul, un hardware du commerce et des exigences écologiques fortes. La contrainte a au contraire stimulé notre processus d'innovation, en étant plus model centric que data centric notamment, elle nous a obligés à penser à côté du cadre. On a bien vu que la RGPD a finalement assaini le marché de l'utilisation de la donnée personnelle. Certes, cela a limité pas mal de modèles économiques, mais d'autres sont nés, plus vertueux et tout aussi stimulants du point de vue de l'innovation et de la performance.
Futura : Est-ce que votre approche peut au final se révéler une chance de changer les mentalités sur les discriminations ?
Daphné Marnat : Notre solution apporte une réponse technique mais effectivement reste le problème structurel. Les mathématiques ne sont pas en soi discriminantes. Avec cet outil de mesure et de correction, les acteurs de l'intelligence artificielle peuvent révéler et mieux appréhender le problème social. Un peu à l'image d'un correcteur orthographique qui met l'accent sur nos erreurs. Cela pourrait effectivement changer le mindset (la mentalité) notamment des data scientists, des développeurs. Nous n'avons pas la prétention de résoudre le problème, mais nos outils peuvent aider à trouver des pistes auxquelles nous n'aurions pas pensé et, ainsi, nous permettre d'avancer sur la question.
