Un état de surveillance biométrique n’est pas inévitable, selon l’AI Now Institute

Dans un nouveau rapport intitulé « Réglementer la biométrie: approches globales et questions urgentes », l’AI Now Institute affirme que les partisans de la réglementation commencent à croire qu’un état de surveillance biométrique n’est pas inévitable.

La publication du rapport ne pouvait pas être plus opportune. Alors que la pandémie se prolonge jusqu’à l’automne, les entreprises, les agences gouvernementales et les écoles recherchent désespérément des solutions qui garantissent la sécurité publique.

Avec des mesures allant du suivi de la température corporelle aux points d’entrée à l’utilisation de drones de surveillance et de systèmes de reconnaissance faciale, il n’a jamais été aussi nécessaire de trouver un équilibre entre la collecte de données biométriques et les droits et libertés individuels. Parallèlement, un nombre croissant d’entreprises vendent des produits et services biométriques qui semblent bénins mais qui pourraient devenir problématiques, voire abusifs.

Le capitalisme de surveillance est présenté comme inévitable pour décourager les individus d’oser repousser. C’est une illusion d’autant plus facile à réaliser que le COVID-19 continue de se répandre dans le monde entier. Les gens cherchent des solutions immédiates, même si cela implique d’accepter un nouveau problème, peut-être plus durable, à l’avenir.

En matière de collecte et de surveillance des données biométriques, il y a souvent un manque de clarté quant à ce qui est éthique, sûr et légal – et quant aux lois et réglementations qui sont encore nécessaires. Le rapport « AI Now » expose méthodiquement tous ces défis, explique pourquoi ils sont importants et préconise des solutions. Il donne ensuite forme et substance à huit études de cas qui examinent la surveillance biométrique dans les écoles, l’utilisation par la police des technologies de reconnaissance faciale aux États-Unis et au Royaume-Uni, les efforts nationaux visant à centraliser les informations biométriques en Australie et en Inde, et bien d’autres choses encore.

Tous les citoyens – et pas seulement les politiciens, les entrepreneurs et les technologues – doivent acquérir une compréhension pratique des questions relatives à la biométrie, aux technologies d’IA et à la surveillance. Dans un paysage en pleine mutation, le rapport pourrait servir de référence pour comprendre les nouvelles questions qui continuent de se poser. Il serait injuste de résumer l’ensemble des 111 pages du document en quelques centaines de mots, mais il aborde plusieurs grands thèmes.

Les lois et règlements relatifs aux données, aux droits et à la surveillance sont à la traîne par rapport au développement et à la mise en œuvre de diverses technologies d’IA qui monétisent la biométrie ou l’adaptent pour le suivi gouvernemental. C’est pourquoi des entreprises comme Clearview AI sont florissantes – ce qu’elles font est offensant pour beaucoup et peut être contraire à l’éthique, mais c’est – à quelques exceptions près – toujours légal.

La définition même des données biométriques reste incertaine, et certains experts veulent interrompre la mise en œuvre de ces systèmes pendant que nous créons de nouvelles lois et en réformons ou actualisons d’autres. D’autres cherchent à interdire totalement les systèmes au motif que certaines choses sont perpétuellement dangereuses, même avec des garde-fous.

Pour réglementer efficacement la technologie, les citoyens ordinaires, les entreprises privées et les gouvernements doivent comprendre parfaitement les systèmes de données qui font appel à la biométrie et leurs compromis inhérents. Le rapport suggère que « toute atteinte à la vie privée ou aux droits de protection des données soit nécessaire et trouve le juste équilibre entre les moyens utilisés et l’objectif visé ». Cette proportionnalité signifie également qu’il faut veiller à ce que « le droit à la vie privée soit mis en balance avec un droit concurrent ou un intérêt public ».

Cela soulève la question de savoir si une situation justifie la collecte de données biométriques. Il est également nécessaire de surveiller ces systèmes pour détecter tout « détournement de fonction » et s’assurer que l’utilisation des données ne va pas au-delà de l’intention initiale.

Le rapport examine l’exemple de la reconnaissance faciale utilisée pour suivre l’assiduité des élèves dans les écoles suédoises. L’autorité suédoise de protection des données a fini par interdire cette technologie au motif que la reconnaissance faciale était trop onéreuse pour la tâche à accomplir. Et il y avait certainement des préoccupations concernant le détournement de fonction ; un tel système capture de riches données sur de nombreux enfants et enseignants. À quoi d’autre ces données pourraient-elles servir, et par qui ?

C’est là que la rhétorique sur la sûreté et la sécurité devient puissante. Dans l’exemple de l’école suédoise, il est facile de voir comment l’utilisation de la reconnaissance faciale ne respecte pas les principes de proportionnalité. Mais lorsque la rhétorique porte sur la sûreté et la sécurité, il est plus difficile de la repousser. Si le but d’un système n’est pas de prendre les présences, mais plutôt de scanner les armes ou d’identifier les personnes qui ne sont pas censées être sur le campus, la conversation prend une autre tournure.

Il en va de même pour la nécessité de ramener les gens au travail en toute sécurité et de protéger les étudiants et les professeurs de retour au travail contre la propagation de COVID-19. Les gens se prêtent à une surveillance biométrique plus invasive et plus étendue si cela signifie qu’ils doivent conserver leurs moyens de subsistance tout en réduisant le risque de devenir une statistique de pandémie.

Il est tentant d’adopter par défaut une position simpliste selon laquelle plus de sécurité équivaut à plus de sûreté, mais cette logique peut s’effondrer dans les applications de la vie réelle. Tout d’abord : plus de sécurité pour qui ? Si les réfugiés doivent soumettre une série complète de données biométriques à la frontière ou si les défenseurs des droits civils sont soumis à une reconnaissance faciale alors qu’ils exercent leur droit de manifester, pour qui la sécurité est-elle protégée ? Et même s’il existe un certain besoin de sécurité dans de telles situations, une surveillance accrue peut avoir un effet paralysant sur toute une série de libertés. Les personnes qui fuient pour sauver leur vie peuvent se heurter à des conditions d’asile envahissantes. Les manifestants peuvent avoir peur de parler librement, ce qui nuit à la démocratie elle-même. Et les enfants pourraient souffrir du rappel constant que leur école est menacée, ce qui entraverait leur bien-être mental et leur capacité à apprendre.

Un problème connexe est que la réglementation ne peut intervenir qu’après le déploiement de ces systèmes, comme l’illustre le rapport avec le cas du projet controversé d’identité biométrique d’Aadhaar en Inde. Le rapport le décrit comme « une base de données centralisée qui stockerait des informations biométriques (empreintes digitales, scanners de l’iris et photographies) pour chaque individu résidant en Inde, indexées avec leurs informations démographiques et un numéro unique à 12 chiffres “Aadhaar” ». Le programme a fonctionné pendant des années sans garde-fous juridiques appropriés. En fin de compte, au lieu d’utiliser de nouvelles réglementations pour faire reculer le système ou remédier à ses défauts et dangers, les législateurs ont essentiellement façonné la loi pour qu’elle s’adapte, codant ainsi les problèmes pour la postérité.

Et puis il y a les questions de savoir si une mesure donnée fonctionne bien et si elle est même utile. Vous pourriez remplir des tomes entiers avec des recherches sur les biais de l’IA et des exemples de comment, quand et où ces biais provoquent des défaillances technologiques et entraînent des abus. Même lorsque les modèles sont comparés, note le rapport, leurs scores peuvent ne pas refléter leurs performances dans le monde réel. La résolution des problèmes de biais dans l’IA, à plusieurs niveaux du traitement des données, de la conception et du déploiement des produits, est l’un des défis les plus importants et les plus urgents auxquels le domaine est confronté aujourd’hui.

Garder un humain dans la boucle est une façon d’atténuer les erreurs que l’IA crache. Dans les services de police, les scanners biométriques sont utilisés pour fournir des pistes après que les agents aient comparé les images avec une base de données, et les humains peuvent alors suivre les suspects. Mais ces systèmes souffrent souvent d’un biais d’automatisation, c’est-à-dire que les gens se fient trop à la machine et surestiment sa crédibilité. Cela va à l’encontre de l’objectif d’avoir un humain dans la boucle et peut conduire à des horreurs comme de fausses arrestations, ou pire.

Les efforts visant à améliorer l’efficacité soulèvent également des considérations morales. De nombreuses sociétés d’IA affirment qu’elles peuvent déterminer les émotions ou l’état mental d’une personne en utilisant la vision par ordinateur pour examiner sa démarche ou son visage. Bien que la fiabilité de ces outils soit discutable, certaines personnes pensent que leur but même est immoral. Poussés à l’extrême, ces efforts de prédiction aboutissent à des recherches absurdes qui équivaut à la phrénologie de l’IA.

Enfin, rien de tout cela n’a d’importance sans responsabilité et sans transparence. Lorsque des entreprises privées peuvent collecter des données à l’insu de tous ou sans leur consentement, lorsque des contrats sont signés en secret, lorsque des préoccupations de propriété priment sur les demandes d’audit, lorsque les lois et les règlements entre les États et les pays sont incohérents et lorsque les évaluations d’impact sont facultatives, les droits de l’homme sont perdus. Et cela n’est pas acceptable.

La pandémie a révélé des fissures dans les systèmes gouvernementaux et sociaux et a fait bouillir des problèmes mijotés. Alors que nous retournons prudemment au travail et à l’école, la question de la biométrie reste au premier plan. On nous demande de faire confiance aux systèmes de surveillance biométrique, aux personnes qui les ont fabriqués et à celles qui en tirent profit, le tout sans transparence ni réglementation suffisantes. C’est un prix élevé à payer pour les prétendues protections de notre santé et de notre économie. Mais vous pouvez au moins comprendre les problèmes qui se posent, grâce au dernier rapport de l’AI Now Institute.

Lire aussi : Edward Snowden avertit que la “biosurveillance” pourrait survivre au coronavirus

Source : VentureBeat – Traduit par Anguille sous roche