Diagnostic : l’IA seule, plus précise qu’un médecin ?

Une étude menée auprès de 50 médecins aux États-Unis (26 médecins traitants et 24 internes) révèle que l'utilisation associée d'un chatbot de type large language model (LLM, modèle massif de langage) n'améliore pas les performances des praticiens en matière de diagnostic, alors qu’une telIe IA utilisée seule peut surpasser les capacités humaines.

Réalisé du 29 novembre au 29 décembre 2023, l’essai clinique randomisé a d’abord comparé l'efficacité d'un LLM disponible (type ChatGPT) à une approche diagnostique classique. Les participants étaient répartis dans deux groupes témoins : le premier utilisait l’outil d’intelligence artificielle (sans forcément retenir les réponses proposées) et l’autre avait à sa disposition uniquement des ressources classiques. Au total, 244 cas cliniques ont été distribués entre les deux groupes de médecins. Les résultats ne révèlent pas de différence notable : le pool épaulé par l’IA a obtenu un score de 76 % (vs 74 %), soit un avantage jugé insignifiant. Le temps passé par cas clinique était également similaire, avec une légère avance pour le groupe avec IA. Au final, les résultats montrent que les médecins n’ont pas significativement amélioré leur diagnostic lorsqu’ils étaient « aidés » par le chatbot.

Pour les cas cliniques complexes

En revanche, utilisé seul, le LLM a significativement dépassé les deux groupes de praticiens, avec un score de 92 % dans l’analyse pertinente de symptômes pour déterminer une pathologie associée. Cette différence peut s'expliquer par la capacité de l’IA à répondre plus précisément à des formulations spécifiques. Si les auteurs de l’étude notent que ces algorithmes peuvent représenter un atout dans le diagnostic médical, ils soulignent que l’IA ne peut pas remplacer l’expertise humaine, en particulier dans des cas cliniques complexes où la prise en charge se veut globale. « Les résultats de cette étude ne doivent pas être interprétés comme indiquant que les LLM devraient être utilisés pour le diagnostic de manière autonome, sans la supervision d'un médecin », recadrent les auteurs.