En Suède, l'agence de Sécurité sociale utilise un algorithme discriminatoire, alertent des ONG

En Suède, l’agence de Sécurité sociale est pointée du doigt par Amnesty International. L’ONG critique le système de cette agence qui utiliserait des algorithmes discriminatoires.

De notre correspondante à Stockholm,

L’agence suédoise de Sécurité sociale utilise une intelligence artificielle (IA) dont le but est de repérer les fraudes aux prestations sociales. Il y a deux types de vérifications qui sont faites : la première, c’est une enquête standard réalisée par des travailleurs sociaux. Dans ce cas, on laisse le bénéfice du doute à la personne, qui a peut-être commis une simple erreur dans ses déclarations. La seconde vérification, c’est le département « contrôle » qui s’en charge et là, ils traitent les cas où il y a suspicion d’intention criminelle. Et c’est cette notion de contrôle avec présomption « d’intention criminelle » qui pose problème, car certaines personnes sont automatiquement classées dans cette deuxième catégorie par une intelligence artificielle et l’algorithme leur attribue un score de risque élevé. D’emblée, ils sont considérés comme des « présumés tricheurs ».

Une intelligence artificielle discriminatoire

L’organisation à but non lucratif Lighthouse Reports et le journal suédois Svenska Dagbladet ont enquêté pour comprendre comment l'IA attribue ces « scores ». Dans leur enquête, on découvre que certains groupes sont signalés de manière disproportionnée. Dans le groupe des personnes automatiquement pointées du doigt par l’algorithme, on retrouve les personnes nées à l’étranger ou dont les parents sont nés à l’étranger, mais aussi les femmes et les personnes à faible revenu ou n’ayant pas de diplôme universitaire. Ces personnes-là, en général déjà marginalisées au sein de la société, obtiennent un score de risque élevé et sont donc scrutées de manière disproportionnée par les contrôleurs des fraudes au sein de l’agence d’aide sociale.

Un pouvoir de contrôle disproportionné

Et ces contrôleurs ont un pouvoir énorme. Ils peuvent fouiller vos réseaux sociaux, obtenir des données auprès de votre banque ou des écoles et même interroger vos voisins. Pour ceux qui ont déjà vu la série, on se croirait un peu dans un épisode de Black Mirror.

Des pratiques qui vont à l’encontre de la réglementation de l’Union européenne sur l’intelligence artificielle, une nouvelle réglementation de l’UE entrée en vigueur en août dernier et qui vise à garantir une IA respectueuse des droits fondamentaux, notamment l’égalité. Elle interdit donc formellement les systèmes spécifiques qui seraient considérés comme des outils de notation sociale. Pour Amnesty, le risque avec ce système, c’est d’aggraver des inégalités et des discriminations préexistantes, sans compter que ces méthodes sont déshumanisantes et basées sur des préjugés.

À noter que la Suède est loin d’être la seule à être pointée du doigt. Le 13 novembre dernier, c’est l’agence danoise de protection sociale qui a été accusée de créer une surveillance de masse pernicieuse avec cet outil et, en octobre, Amnesty International appelait les autorités françaises, cette fois-ci, à cesser immédiatement d’utiliser un algorithme discriminatoire qui attribue une notation des risques dont se sert la Caisse nationale d’allocations familiales (CNAF) pour détecter les trop-perçus et les erreurs dans le versement des allocations. Le risque est de reproduire le scandale qui avait eu lieu en 2021 aux Pays-Bas : à ce moment-là, 26 000 parents avaient été accusés à tort de fraude fiscale par un algorithme qui utilisait un profilage ethnique.

Un porte-parole de l’agence de Sécurité sociale suédoise a indiqué que « le système fonctionne en totale conformité avec la loi suédoise. »

À lire aussiLes algorithmes de notation s’installent en Europe