Docteur ChatGPT ? L’IA réussit presque l’examen de licence médicale aux États-Unis


Quelle est la prochaine étape ?

Il semble de plus en plus qu’il n’y ait rien que ChatGPT ne puisse faire, même consulter des juges dans des affaires et stimuler la recherche.

Aujourd’hui, il a été constaté que le chatbot d’IA obtient un score égal ou proche du seuil de réussite d’environ 60 % pour l’examen de licence médicale des États-Unis (USMLE), “avec des réponses qui ont un sens cohérent et interne et qui contiennent des idées fréquentes”.

C’est ce que révèle une étude publiée jeudi dans la revue à accès libre PLOS Digital Health par Tiffany Kung, Victor Tseng et leurs collègues d’AnsibleHealth.

Un test pour les disciplines médicales

L’USMLE est une série de trois examens hautement normalisés et réglementés, nécessaires à l’obtention d’un permis d’exercer la médecine aux États-Unis. Passé par les étudiants en médecine et les médecins en formation, l’USMLE évalue les connaissances dans la plupart des disciplines médicales, de la biochimie à la bioéthique, en passant par le raisonnement diagnostique.

Pour voir comment le mode linguistique fonctionnerait sur cet examen très complexe, Kung et ses collègues ont testé les performances de ChatGPT sur le test. Ils ont supprimé les questions basées sur des images et ont posé à ChatGPT 350 des 376 questions publiques disponibles dans la version de l’USMLE de juin 2022.

ChatGPT a obtenu des scores compris entre 52,4 % et 75 % pour les trois examens USMLE. Ces scores sont de très bon augure puisque le seuil de réussite est d’environ 60 % chaque année.

ChatGPT a également démontré une concordance de 94,6 % sur l’ensemble de ses réponses et a produit au moins un aperçu significatif pour 88,9 % de ses réponses.

En fin de compte, ChatGPT a même dépassé les performances de PubMedGPT, un modèle équivalent formé exclusivement sur la littérature du domaine biomédical, qui n’a obtenu que 50,8 % sur un ensemble de données plus anciennes de questions de type USMLE.

Les auteurs ont conclu que ChatGPT a le potentiel d’améliorer l’enseignement de la médecine et, à terme, la pratique clinique. En fait, les cliniciens d’AnsibleHealth utilisent déjà ChatGPT pour réécrire des rapports lourds en jargon afin de faciliter la compréhension des patients.

Une étape importante dans l’IA clinique

“Atteindre le score de passage de cet examen d’expert notoirement difficile, et ce sans aucun renforcement humain, marque une étape notable dans la maturation de l’IA clinique”, notent les auteurs.

“ChatGPT a contribué de manière substantielle à la rédaction de [notre] manuscrit […]. Nous avons interagi avec ChatGPT comme avec un collègue, en lui demandant de synthétiser, de simplifier et de proposer des contrepoints aux ébauches en cours… Tous les co-auteurs ont apprécié la contribution de ChatGPT”, a conclu Kung dans un communiqué de presse.

ChatGPT est un nouveau système d’intelligence artificielle appelé “grand modèle de langage”, capable de produire une écriture de type humain en prédisant les séquences de mots à venir. ChatGPT n’effectue pas de recherches sur Internet, mais se concentre sur la génération de textes en utilisant les relations entre les mots prédites par ses processus internes.

Lire aussi : ChatGPT : l’IA aura intégré tout le savoir humain « fiable » en 2026

Source : Interesting Engineering – Traduit par Anguille sous roche


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *