Des algorithmes sont utilisés pour déterminer si les enfants doivent être retirés à leurs parents
Inquiétant.
Les limites des algorithmes d’aujourd’hui en termes de précision concernant le contexte et la nuance sont évidentes même pour un observateur occasionnel, notamment dans la censure automatisée souvent maladroite sur les réseaux sociaux.
En dépit de cet état de fait et des limites de la technologie elle-même, sans même tenir compte de l’intention des personnes à l’origine de cette technologie, les travailleurs sociaux américains ont commencé à s’appuyer sur des algorithmes prédictifs pour décider quand enquêter sur des parents soupçonnés de négligence envers leurs enfants.
Les enjeux sont ici plus importants que la suppression d’une publication sur Facebook – ces parents peuvent finir par se voir retirer leurs enfants, et l’algorithme qui est maintenant utilisé dans plusieurs États américains, et qui s’étend, est décrit par l’AP comme “opaque” – tout en fournissant aux travailleurs sociaux des calculs statistiques sur lesquels ils peuvent fonder leurs actions.
D’autres préoccupations soulevées autour des algorithmes comme celui utilisé dans le comté d’Allegheny en Pennsylvanie – qui a fait l’objet d’une étude de l’Université Carnegie Mellon – sont la fiabilité, ce qui est tout à fait attendu, ainsi que l’effet de “durcissement des disparités raciales dans le système de protection de l’enfance”.
Et si de tels outils sont déjà mis en œuvre ou envisagés en Californie, au Colorado et en Oregon, dans l’Illinois, les problèmes qui sont apparus avec l’utilisation d’algorithmes dans des scénarios aussi sensibles ont amené les autorités à abandonner l’idée de mettre en œuvre de tels outils.
L’étude universitaire qui s’est concentrée sur le comté d’Allegheny a conclu que les travailleurs sociaux ne sont pas d’accord avec un score de risque sur trois que le système produit, tandis qu’une autre recherche a révélé que le nombre d’enfants noirs signalés pour une enquête obligatoire sur la négligence, par rapport à leurs pairs blancs, est “disproportionné”, et que cela se manifeste comme un modèle.
Les autorités d’Allegheny ont toutefois rejeté l’étude comme étant hypothétique, affirmant dans le même temps que les travailleurs sociaux ont le dernier mot dans la prise de décision, indépendamment des résultats de l’outil.
Pour l’instant, les formes de négligence qui sont examinées à l’aide de l’algorithme sont la qualité du logement et l’hygiène de l’enfant, mais pas les abus sexuels et autres formes de violence physique.
Compte tenu du type de questions qui sont explorées afin de décider s’il y a lieu d’enquêter, il n’est pas surprenant que la majorité des données recueillies concernent des familles pauvres.
“Les familles et leurs avocats ne peuvent jamais être sûrs du rôle de l’algorithme dans leur vie, car ils ne sont pas autorisés à connaître les scores”, rapporte l’AP.
Lire aussi : FEM : Les algorithmes décideront bientôt si un enfant est gay – avant qu’il ne le décide lui-même
Source : Reclaim The Net – Traduit par Anguille sous roche
