Ils ont testé ChatGPT aux urgences : son diagnostic est « aussi bien » que celui d'un docteur

Aux urgences, le chatbotchatbot d'intelligence artificielleintelligence artificielle ChatGPTChatGPT a réalisé des diagnostics au moins aussi bien que des médecins et les a, dans certains cas, surpassés, ont découvert des chercheurs néerlandais, selon lesquels l'IA pourrait « révolutionner le domaine médical ». Les auteurs de l'étude parue mercredi ont toutefois souligné que les jours des médecins urgentistes n'étaient pas encore comptés, le chatbot étant potentiellement capable d'accélérer le diagnostic mais pas de remplacer le jugement et l'expérience d'un humain. 

Trente cas traités dans un service d'urgence aux Pays-Bas en 2022 ont été examinés en alimentant ChatGPT en fonction des antécédents des patients, des tests en laboratoire et des observations des médecins, demandant au chatbot de proposer cinq diagnostics possibles. Dans 87 % des cas, le bon diagnostic se trouvait dans la liste des praticiens, contre 97 % pour la version 3.5 de ChatGPT. Le chatbot « était capable de réaliser des diagnostics médicaux un peu comme l'aurait fait un médecin humain », a résumé Hidde ten Berg, du service d'urgence de l'hôpital Jeroen Bosch, dans le sud des Pays-Bas. 

Quid de la confidentialité des données d'un patient ? 

Le coauteur de l'étude publiée la revue spécialisée Annales de médecine d'urgence, Steef Kurstjens a souligné que celle-ci ne concluait pas que des ordinateursordinateurs pourraient un jour diriger les urgences mais que l'IA pouvait jouer un rôle vital en aidant les médecins sous pressionpression. Le chatbot « peut aider à réaliser un diagnostic et peut peut-être proposer des idées auxquelles le médecin n'avait pas pensé », a-t-il déclaré à l'AFP. De tels outils ne sont pas conçus comme des dispositifs médicaux, a-t-il toutefois relevé, partageant également des inquiétudes quant à la confidentialitéconfidentialité des données médicales sensibles dans un chatbot.

Et, comme dans d'autres domaines, ChatGPT a rencontré certaines limites. 

Sur des cas de figure simples, le chatbot réalise des diagnostics « aussi bien »  qu'un médecin mais ne pourra remplacer le jugement et l'expérience d'un humain. © Cofotoisme, Getty Images

Les limites et les gaffes de ChatGPT

Son raisonnement était « parfois médicalement invraisemblable ou incohérent, ce qui peut conduire à des informations erronées ou à un diagnostic incorrect, avec des implications importantes », note l'étude. Les scientifiques admettent également certaines lacunes dans leurs recherches, comme la petite taille de l'échantillon. De plus, seuls des cas relativement simples ont été examinés, avec des patients présentant une seule plainte principale. L'efficacité du chatbot dans des cas complexes n'est pas claire.

Parfois, ChatGPT ne fournissait pas le bon diagnostic dans les cinq possibilités, explique Steef Kurstjens, notamment dans le cas d'un anévrisme aortique abdominal, une complication potentiellement mortelle, avec l'aorte qui enfle. Mais, consolation pour ChatGPT, dans ce cas, le médecin s'est également trompé. Le rapport signale en outre des « gaffes » médicales commises par le chatbot, par exemple en diagnostiquant une anémie (faible taux d'hémoglobine dans le sang) chez un patient présentant un taux d'hémoglobine normal. Les résultats de l'étude seront présentés au Congrès européen de médecine d'urgence (EUSEM) de 2023 à Barcelone.