L’IA peut identifier la race à partir de simples rayons X et les scientifiques n’ont aucune idée de comment

Dans une autre démonstration que l’IA peut voir des choses que les humains ne peuvent pas voir par nature, des chercheurs ont découvert que l’IA peut être capable d’identifier la race à partir d’images radiographiques, même si les experts humains ne voient pas de différence claire.

Sur la base d’images radiographiques et tomodensitométriques uniquement, l’IA a été capable d’identifier la race avec une précision d’environ 90 % et les scientifiques ne parviennent pas à comprendre comment elle peut y parvenir.

Les résultats suggèrent qu’il faut faire preuve d’une extrême prudence lors du déploiement de l’IA dans les technologies médicales, car même lorsqu’on fournit des images considérées comme anonymes, floues ou autrement corrompues, l’IA peut être capable de les caractériser.

Cette recherche a été publiée dans le Lancet Digital Health.

“Lorsque mes étudiants diplômés m’ont montré certains des résultats contenus dans cet article, j’ai vraiment pensé qu’il devait s’agir d’une erreur”, a déclaré Marzyeh Ghassemi, professeur adjoint de génie électrique et d’informatique au MIT et coauteur de l’article, dans une déclaration au Boston Globe.

“Honnêtement, j’ai cru que mes étudiants étaient fous quand ils me l’ont dit.”

Pour tester la capacité de l’IA à identifier des images, un modèle d’apprentissage profond a d’abord reçu des images de tomodensitométrie et de radiographie de nombreuses zones différentes du corps sur divers groupes de personnes, chaque image étant étiquetée avec la race de la personne. Ensuite, les étiquettes ont été retirées, ainsi que toute caractéristique d’identification possible, comme la couleur de la peau et des cheveux. Pour chaque image, on a demandé à l’IA d’identifier la race de l’individu.

Pour toutes les parties du corps, l’IA a été capable d’identifier la race avec une précision d’environ 90 %, même sans aucun signe distinctif.

Les chercheurs se sont demandé si l’IA n’était pas sournoise et n’utilisait pas des statistiques pour faire une estimation basée sur des covariables, comme l’indice de masse corporelle (IMC) ou la densité mammaire, qui pourraient suggérer une race plutôt qu’une autre. Les chercheurs ont supprimé les covariables possibles et n’ont montré à l’IA que des ensembles de données de personnes ayant un IMC et un type de corps similaires, mais l’IA a quand même été capable d’identifier la race.

Comment peut-elle le faire ? Franchement, les chercheurs n’en sont pas sûrs.

Ce n’est pas la première fois que l’IA surprend les scientifiques en identifiant la race dans des conditions presque impossibles – des études précédentes ont montré qu’elle pouvait le faire lorsque l’image est fortement corrompue ou altérée. Cependant, la suppression des covariables rend les résultats déconcertants. Les chercheurs supposent que l’IA peut identifier les variations de mélanine entre la peau des Noirs et des Blancs, qui peuvent apparaître dans les scanners et les radiographies et que les humains n’ont jamais remarquées. Il ne s’agit cependant que d’une idée, et le véritable travail commence maintenant pour comprendre les résultats.

Quoi qu’il en soit, l’information devrait susciter de sérieuses inquiétudes quant à l’utilisation de l’IA dans les hôpitaux et à la façon dont ils peuvent réagir différemment aux différentes races, ce qui a été vu à de nombreuses reprises dans le déploiement de l’IA.

“Nous devons faire une pause”, a déclaré Leo Anthony Celi, coauteur et professeur associé à la Harvard Medical School, au Boston Globe.

“Nous ne pouvons pas nous précipiter pour apporter les algorithmes dans les hôpitaux et les cliniques avant d’être sûrs qu’ils ne prennent pas de décisions racistes ou sexistes.”

Lire aussi : Étude : Les grands journaux taisent délibérément la race des suspects d’homicide, sauf s’ils sont blancs

Sources : The boston Globe, IFLScience – Traduit par Anguille sous roche