Intelligence artificielle, résistances humaines : Prestations sociales : des allocataires contre la traque algorithmique

Julie Gacon consacre ce numéro de Cultures monde, sur France Culture, aux allocataires de prestations sociales visés par des algorithmes de lutte contre la fraude, et à ceux qui les défendent. Soizic Pénicaud, cofondatrice de l'Observatoire des algorithmes publics, et le sociologue Vincent Dubois expliquent comment un score de risque oriente les contrôles vers les plus précaires, de la France aux Pays-Bas. Le politiste Félix Tréguer raconte ensuite la fronde contre les caméras de lecture de plaques Flock aux États-Unis.

Noter les allocataires : un score de risque en question

Dans ce troisième épisode de la série « Intelligence artificielle, résistances humaines » de Cultures monde, sur France Culture, Julie Gacon reçoit Soizic Pénicaud, cofondatrice de l’Observatoire des algorithmes publics (Odap) et enseignante à Sciences Po Paris, et Vincent Dubois, sociologue et politiste, professeur à l’Institut d’études politiques de Strasbourg. Ils expliquent comment les organismes de prestations sociales en Europe classent leurs bénéficiaires par des systèmes automatisés au nom de la lutte contre la fraude. Vincent Dubois date l’essor des politiques de contrôle en France du milieu des années 1990 et la généralisation des algorithmes des années 2010-2011 : à la Caisse nationale des allocations familiales (CNAF), 13 à 15 millions de dossiers reçoivent un score de risque. Ce score ne repère pas une erreur, précise-t-il, il calcule la probabilité qu’un dossier en contienne une et déclenche le contrôle. Soizic Pénicaud rappelle que ce calcul vise les trop-perçus, pas les droits non réclamés.

Pour Vincent Dubois, l’outil statistique a « un effet de déresponsabilisation » : des critères discriminants peuvent peser sans qu’aucun choix ne soit assumé, puisque « c’est la machine qui le dit ».

Des Pays-Bas à la France, la riposte des collectifs

Soizic Pénicaud revient sur l’affaire des allocations de garde d’enfants aux Pays-Bas : des parents désignés comme suspects de fraude voyaient leurs aides suspendues pendant l’enquête et devaient tout rembourser, parfois pour une signature manquante. Le travail de l’avocate Eva González Pérez a permis de découvrir qu’un algorithme sélectionnait ces familles notamment sur la base de la nationalité ou de la double nationalité. D’après l’émission, 68 000 familles ont été touchées et le gouvernement a démissionné en 2021 ; Soizic Pénicaud évoque un budget d’indemnisation de 500 millions d’euros encore loin d’être distribué. En France, des organisations de la société civile ont déposé un recours devant le Conseil d’État contre l’algorithme de la CNAF. Selon elle, elles ne demandent pas un algorithme plus juste mais l’abandon de ces systèmes et des politiques sociales moins tournées vers le contrôle. Vincent Dubois montre que la discrimination naît aussi des règles : un bénéficiaire du RSA déclare ses ressources quatre fois par an, contre une fois pour d’autres allocataires, et multiplie donc mécaniquement les risques d’erreur.

Le sociologue, qui a enquêté plusieurs années auprès des contrôleurs des caisses d’allocations familiales, décrit des contrôles devenus plus bureaucratiques, avec le sentiment de devoir trouver quelque chose puisque la machine a signalé le dossier.

IA générative et caméras Flock : la surveillance contestée

L’émission aborde ensuite l’arrivée de l’intelligence artificielle générative à France Travail, révélée selon l’émission par l’association La Quadrature du Net. Soizic Pénicaud y voit une opacité nouvelle, technique cette fois, et un « biais d’automatisation » qui pousse les agents à suivre la recommandation de la machine. Dans la seconde partie, Félix Tréguer, politiste et chercheur associé au Centre Internet et Société du CNRS, explique le fonctionnement des caméras Flock aux États-Unis : des capteurs qui lisent les plaques d’immatriculation et alimentent des bases de données consultées par des polices municipales. Il retrace la contestation, partie de révélations au printemps 2025 sur l’usage de ces données dans une enquête liée à un avortement au Texas, puis nourrie par les abus documentés par des associations de défense des libertés et par les opérations de l’agence fédérale ICE. Selon lui, l’opposition est devenue transpartisane et de nombreuses municipalités ont rompu leurs contrats.

Pour Félix Tréguer, la question posée par ces mobilisations est de savoir « comment construire la sécurité autrement que par la réponse policière et carcérale ».

Les références de l’épisode

• Observatoire des algorithmes publics (Odap) : cofondé par Soizic Pénicaud.
• « Contrôler les assistés », Vincent Dubois : livre paru en 2021 sur l’essor des politiques de contrôle et de lutte contre la fraude.
• « Technopolice. La surveillance policière à l’ère de l’intelligence artificielle », Félix Tréguer : livre paru en 2024.
• Caisse nationale des allocations familiales (CNAF) : son algorithme de notation des allocataires fait l’objet d’un recours devant le Conseil d’État.
• France Travail : expérimente l’intelligence artificielle générative dans le contrôle des demandeurs d’emploi.
• La Quadrature du Net : association de défense des libertés numériques engagée contre ces algorithmes.
• Changer de Cap : collectif qui a recueilli en 2022 des témoignages d’allocataires.
• Flock : entreprise américaine fondée en 2017 qui vend des caméras de lecture de plaques d’immatriculation aux polices municipales.
• Electronic Frontier Foundation : association américaine de défense des droits dans l’environnement numérique qui a documenté des abus.

Au fil de l’épisode

• 00:00:47 : présentation de la série et des scandales en France, aux Pays-Bas et en Belgique
• 00:04:01 : Vincent Dubois retrace l’essor des politiques de contrôle et des algorithmes
• 00:05:49 : les données des allocataires utilisées pour calculer le score de risque
• 00:07:28 : fraude, erreurs et trop-perçus : la cible réelle des algorithmes
• 00:10:30 : le scandale des allocations aux Pays-Bas
• 00:13:19 : le rôle de l’avocate Eva González Pérez et le critère de nationalité
• 00:17:06 : « la machine ne peut pas se tromper » : l’effet de déresponsabilisation
• 00:21:06 : l’indemnisation des familles néerlandaises
• 00:24:58 : comment s’organisent les résistances des avocats, associations et journalistes
• 00:26:49 : ce que le scoring a changé pour les contrôleurs des caisses
• 00:30:25 : le recours devant le Conseil d’État contre l’algorithme de la CNAF
• 00:32:37 : pourquoi les plus précaires sont mécaniquement surciblés
• 00:34:29 : la Banque mondiale et l’automatisation des aides en Serbie
• 00:36:31 : l’algorithme annulé pour inconstitutionnalité en Pologne
• 00:36:59 : l’intelligence artificielle générative arrive à France Travail
• 00:42:10 : la voix, les migrations et les promesses non tenues de l’IA
• 00:47:34 : Félix Tréguer explique le fonctionnement des caméras Flock
• 00:50:52 : les révélations qui ont déclenché la contestation aux États-Unis
• 00:52:29 : l’agence ICE et une opposition devenue transpartisane
• 00:56:23 : construire la sécurité autrement

FAQ

Comment fonctionne l’algorithme de la CNAF ?

Selon Vincent Dubois, l’algorithme de la Caisse nationale des allocations familiales attribue un score de risque à chaque dossier à partir de corrélations statistiques entre des variables comme la situation familiale, professionnelle ou résidentielle. Il ne constate pas d’erreur : il estime la probabilité qu’un dossier en contienne une et déclenche un contrôle, la décision finale restant humaine.

Qu’est-ce que le scandale des allocations aux Pays-Bas ?

D’après Soizic Pénicaud, des parents bénéficiant d’aides pour la garde d’enfants ont été accusés de fraude, privés de leurs allocations et sommés de rembourser. Un algorithme les sélectionnait notamment selon leur nationalité. L’émission évoque 68 000 familles touchées et la démission du gouvernement en 2021, ainsi qu’une indemnisation encore incomplète.

Pourquoi les allocataires précaires sont-ils plus contrôlés ?

Vincent Dubois explique que les règles elles-mêmes produisent ce surcontrôle. Un bénéficiaire du RSA déclare ses ressources chaque trimestre, quand d’autres allocataires le font une fois par an, et les situations précaires changent souvent. Le risque d’erreur est donc plus élevé, sans lien avec une propension à frauder.

Que reproche-t-on aux caméras Flock aux États-Unis ?

Félix Tréguer décrit des caméras qui lisent les plaques d’immatriculation et alimentent des bases consultées par les polices. Des enquêtes ont documenté des usages abusifs : suivi d’une personne dans une affaire d’avortement au Texas, recherches sur des proches ou sur des manifestants, accès de l’agence ICE. De nombreuses municipalités ont rompu leurs contrats.