Le 11 octobre dernier, les Nations unies ont publié un rapport sur les droits de l’homme et l’extrême pauvreté, destiné à l’Assemblée générale de l’organisation, qui prend ses distances vis-à-vis du numérique. Le rapporteur spécial sur les droits de l’homme et l’extrême pauvreté, Philip Alston, y a en effet dénoncé les dangers que la diffusion des technologies de l’information, et tout particulièrement l’intelligence artificielle, représentaient dans la gestion de l’aide sociale publique à l’échelle de la planète.
En fait, le recours au numérique par les États et, à cette occasion, la mainmise sur une part croissante du fonctionnement des aides publiques par des acteurs privés sont dès à présent une réalité dans bon nombre de pays à revenus élevés ou moyens, et une tendance émergente dans les pays à bas revenus. Les systèmes de protection sociale sont désormais gouvernés par l’analyse des données et les technologies de l’information et de la communication. Qu’il s’agisse d’identifier les bénéficiaires, d’évaluer leur éligibilité, de calculer leurs droits, de prédire les besoins et de prévoir les ressources nécessaires, les technologies de l’information s’avèrent incontournables pour le traitement des éléments comptables et statistiques. Au-delà, ces mêmes technologies sont en mesure d’assurer la communication avec les demandeurs, comme de repérer les fraudeurs, de les cibler et de les punir par l’interruption des prestations et, le cas échéant, la mise en recouvrement des trop-perçus, voire des amendes.
Les raisons de cette révolution silencieuse sont simples, elles tiennent d’abord à l’attrait que représentent les sommes en jeu pour le privé, les budgets de l’État-providence se chiffrent en milliards d’euros comme de dollars US. Elles tiennent aussi à la difficulté de gérer de grands nombres de bénéficiaires et d’appliquer les règles souvent complexes relatives aux ayants droit. En outre, le domaine de l’aide sociale est facilement perçu comme une question technique avant que d’être politique, aussi l’opinion publique n’y est pas nécessairement sensible et c’est un sujet qui jusqu’ici a peu enflammé les réseaux sociaux. C’est une voie royale pour les acteurs du numérique qui ont déployé leurs arguments habituels : économie par la baisse des coûts de gestion, efficacité puisque seuls les véritables nécessiteux en bénéficieront grâce à l’identification biométrique, rapidité des transactions, transparence des systèmes à la mémoire infaillible, rigueur dans l’utilisation des fonds publics, etc.
Hélas, l’enquête conduite par les Nations unies auprès de 34 États, dont l’Australie, les États-Unis, l’Inde et le Royaume-Uni, conduit à un constat bien éloigné de ces promesses. À l’inverse, les dysfonctionnements semblent la règle. En Australie, les chômeurs doivent interagir avec un tableau numérique, faute de quoi les indemnités peuvent être suspendues. En Illinois, des bénéficiaires se voient réclamer des trop-perçus qui peuvent remonter à plusieurs dizaines d’années. En Inde, le système Aadhaar, qui identifie 1,2 milliard d’individus avec une clef à 12 chiffres, est une réussite technique, mais les critiques se multiplient sur les atteintes à la vie privée et les surveillances qu’il rend possibles tandis qu’il complique l’accès aux droits sociaux de tous les demandeurs. Au Royaume-Uni, les demandes deviennent si complexes pour les usagers qu’elles s’apparentent à un dédale kafkaïen. Et un investissement considérable est consenti pour créer un véritable double numérique de chaque bénéficiaire en croisant les données provenant des banques et des organismes de crédit, et en les confiant à des algorithmes tenus secrets pour éviter les stratégies d’évitement de la part des demandeurs ; ceci afin de débusquer les fraudeurs potentiels. En bref, une communication de plus en plus complexe pour les intéressés, des systèmes qui se focalisent sur la détection des fraudes avant de s’assurer de la vulnérabilité des personnes, et qui, de manière autonome, décident des attributions, des suspensions et des pénalités.
Dans ces critiques, l’intelligence artificielle (IA) et les données de masse occupent une place particulière. C’est une technologie à l’origine d’erreurs qui sont de plus en plus fréquemment comprises et dénoncées. Les biais peuvent être le fait des programmeurs d’algorithmes et liés à la culture ou à la composition des équipes ; ils peuvent aussi provenir des jeux de données et tout particulièrement ceux utilisés pour l’apprentissage des systèmes (deep learning). Et puis ces systèmes augmentent considérablement la portée des décisions. Qu’un travailleur social se trompe constitue un problème sérieux dont il est personnellement redevable. Il en va tout autrement d’une IA largement diffusée et qui présente un biais ; les dommages prennent une ampleur systémique et les responsabilités sont bien difficiles à établir. De plus les systèmes d’identification ne s’embarrassent pas toujours du respect de la vie privée ni de la sécurité des données vis-à-vis des usages que les gouvernements pourraient en faire. Enfin, l’intervention massive des acteurs privés conduit à une conception étroite de l’efficacité, réduite à une analyse comptable et statistique, et elle est mise en œuvre par des acteurs en la quasi-absence de cadres réglementaires. Dans les faits, l’aide sociale publique évolue vers une zone où « le code est la loi » pour reprendre une formule célèbre de Lawrence Lessig. Et cela ne laisse pas d’être inquiétant compte tenu du dynamisme de la diffusion de ces technologies.
En conclusion, le rapport des Nations unies parle d’une dystopie à la Dickens pour la société du XXIe siècle, vocabulaire dérangeant pour une organisation aux déclarations généralement mesurées. Et le document en appelle à la responsabilité collective des membres de l’organisation pour abandonner l’obsession de la fraude, les économies, la chasse aux coûts, et une définition de l’efficacité venue des marchés, pour se focaliser en priorité sur la transformation des budgets de l’aide sociale par la technologie afin d’assurer un meilleur niveau de vie aux personnes vulnérables et handicapées.
Ce rapport illustre concrètement ce qui est en jeu en matière d’aide sociale publique quand la gestion de celle-ci est largement confiée par l’État à des systèmes autonomes développés par les acteurs privés de la technoscience. Il arrive un moment où de nombreuses voix s’élèvent pour une éthique du numérique et pour une réglementation de ses utilisations ; à court terme, il plaide clairement en faveur de l’établissement ou du maintien de contrôles humains sur de tels systèmes.
---------------------
Source : Droits de l’homme et extrême pauvreté, New York : Nations unies, 11 octobre 2019. URL : http://undocs.org/fr/A/74/493. Consulté le 2 janvier 2020.