Un robot de l'armée américaine s'est fait berner par un carton !

Avec les caméras de surveillance, il est possible d'utiliser des techniques pour duper les systèmes de reconnaissance visuelle et faciale des Intelligences artificielles. Ainsi, un simple pull-over, plutôt laid, peut rendre son porteur invisible. C'est ce qu'avait testé aux États-Unis, une équipe de chercheurs de l'université du Maryland. Le souci, c'est que les difficultés que rencontrent ces IA en se faisant berner, se retrouvent aussi sur leurs versions à destination des militaires.

Ainsi, alors que la question de l'utilisation de robots autonomes dits tueurs se pose, leur capacité à presser la gâchette ou à déclencher un explosif a de quoi inquiéter si leur IA peut être trompée par ce qu'elle voit ou ne voit pas. C'est en tout cas ce qui est apparu lors d'essais avec des robots chienschiens de la Darpa par une équipe de Marines aux États-Unis. Ils ont pu tester et vérifier leurs faiblesses en matièrematière d'identification d'êtres humains dans leur champ de vision.

Dans l'ouvrage qu'il vient de publier (Four Battlegrounds: Power in the Age of Artificial Intelligence), Paul Scharre, un ancien analyste du Pentagone et vétéran de l'armée, explique comment se sont déroulées les expérimentations des militaires. La Darpa avait confié les robots aux Marines pendant six jours pour qu'ils puissent les entrainer et améliorer leur IA. Mais les militaires ont également cherché les failles de ces robots censés être capables d'identifier automatiquement des êtres humains.

Ce journaliste, spécialisé dans les questions de défense pour le journal The Economist, présente des extraits de l’ouvrage de Paul Scharre qui évoque les expérimentations sur l’IA des robots de la Darpa. © Twitter, Shashank Joshi

Une IA militaire bernée par des gymnastes

Pour y parvenir, lors de leurs essais, huit Marines ont positionné un de ces robots chiens au centre d'un rond-point pour qu'il puisse surveiller son environnement. Leur objectif consistait alors à trouver les moyens de l'approcher et de le toucher sans être détecté. Une sorte de jeu du loup, avec un robot autrement dit.

Les militaires ont fait preuve d'imagination, puisque deux d'entre eux ont évolué vers le robot en avançant à coups de sauts périlleux sur 300 mètres pour l'atteindre. Deux autres se sont cachés dans des boites en carton pour avancer vers le robot. Enfin, un autre s'est dissimulé derrière une branche de sapinsapin et a pu encore une fois atteindre le robot en se faisant passer pour un arbuste. Dans toutes ces situations, le puissant algorithme à vocation militaire n'a pas réagi à ces éléments qui s'approchaient de lui. Et pour cause ! L'Intelligence artificielle avait été entrainée pour détecter des humains qui marchent et non pas qui avançaient en effectuant des sauts périlleux, ou des boites en cartons qui se déplacent.

L'ouvrage n'indique pas quand ces événements ont eu lieu. Ce genre de défaut a sans doute été corrigé depuis, mais il reste certain qu'une IA ne sait faire que ce qu'on lui apprend à faire. C'est ainsi que, malgré ses capacités extraordinaires en rhétorique, une IA comme la populaire ChatGPT peut se retrouver à dire n'importe quoi avec force et conviction. Dans l'exemple du robot de la Darpa, si une IA peut se faire berner par des gymnastes, lui faire confiance lors de missions sur le terrain n'est peut-être pas encore pour demain. Et pourtant des robots autonomes à capacité létale, comme des drones, sont déjà employés par certains pays. La question éthique de leur utilisation se pose d'autant plus.