« Fuck the algorithm », scandaient les lycéen·nes anglais·es manifestant à l’été 2020 contre la prédiction de leurs notes de bac par un algorithme1. À travers le monde, les contestations de l’utilisation de systèmes algorithmiques par l’administration se multiplient2, et la France n’est pas en reste. Depuis 2021, des associations et des journalistes sont engagés pour publiciser et remettre en question l’algorithme de ciblage utilisé par les CAF (caisses d’allocations familiales) depuis 2011 pour orienter les contrôles.
L’algorithme attribue à chaque allocataire un score de risque correspondant à la probabilité que le dossier comporte des erreurs (frauduleuses ou non). Ses paramètres sont issus d’analyses statistiques de cas d’erreurs passées3. Les allocataires au score le plus élevé sont contrôlés en priorité. En 2021, 70 % des contrôles sur place (les plus invasifs) étaient déclenchés par l’algorithme. Or, les critères de l’algorithme mènent au surciblage de certains types de population, notamment les plus précaires : familles monoparentales (à 80 % des femmes), bénéficiaires du RSA, personnes aux revenus variables ou au chômage.
À partir de 2021, des associations se mobilisent pour dénoncer l’usage d’un tel système et demander son abrogation. Si elles ne sont pas encore parvenues à faire entendre toutes leurs revendications, elles ont déjà réussi leur objectif à moyen terme : mettre sur l’agenda médiatique4 un sujet jusque-là peu discuté.
Je parle depuis un point de vue particulier : je suis engagée dans cette contestation au sein du collectif Changer de Cap et en tant que chercheuse pour Lighthouse Reports. Dans cette mobilisation, mon rôle est d’agir et non d’observer. Cet article est une tentative de prendre du recul et de réfléchir aux stratégies auxquelles j’ai contribué. Pour ce faire, je m’appuie sur mon expérience personnelle, la littérature grise et académique et cinq entretiens menés entre janvier et août 2024 avec les associations et journalistes dont il est question dans l’article.
Brève chronique d’une contestation
Entre 2021 et 2023, cinq acteurs convergent vers l’algorithme de ciblage des CAF, pour des raisons et avec des approches différentes.
Changer de Cap
Pour Changer de Cap, tout commence par le terrain. Le collectif de lutte pour la justice sociale commence à s’intéresser à la question des dysfonctionnements des CAF à la demande d’associations d’accompagnement d’allocataires. Suite à une campagne de collecte de témoignages à l’automne 2021, il entame dès février 2022 des actions d’aide aux allocataires, de plaidoyer et de sensibilisation. Si le collectif n’a, à l’origine, pas vocation à traiter de questions numériques, la prévalence du sujet dans les témoignages l’amène à créer un groupe de travail sur ce thème.
En septembre 2022, il lance une campagne de médiatisation5, avec pour objectif d’interpeller la Caisse nationale des allocations familiales (CNAF). Afin de trouver des alliés sur les sujets numériques, Changer de Cap prend contact avec La Quadrature du Net dès 2021.
La Quadrature du Net
La Quadrature du Net est une association de défense et de promotion des droits et des libertés numériques, dotée d’expertises juridique et technique. Si elle s’intéresse de longue date à la dématérialisation de l’administration, ce sont les sollicitations de collectifs luttant pour l’accès aux droits (Stop Contrôle, qui se concentre sur le contrôle des chômeurs, puis Changer de Cap) qui l’amènent à se pencher concrètement sur la question à partir de 2021.
Pragmatiquement, l’association décide de se concentrer sur un cas. « On avait tout de suite replacé le sujet des algorithmes de contrôle dans la question plus générale de la dématérialisation des administrations […] mais on avait posé clairement que, comme on ne pouvait pas tout faire, on commençait par un truc bien spécifique qui était les algorithmes de contrôle, et d’abord à la CAF, puisque c’est là-dessus qu’il y avait le plus d’infos6 ». Se pencher sur l’algorithme est également un moyen pour La Quadrature du Net de trouver une légitimité dans le sujet, via son expertise technique.
Une phase de documentation débute à l’automne 2021, suivie par la création d’un groupe de travail interne en octobre 2022. Objectif à long terme : faire interdire l’algorithme. À moyen terme : faire parler du sujet en documentant et rendant public le système, dont les paramètres sont jusque-là gardés secrets par la CNAF. L’association publie notamment en octobre 2022 un premier article étayé synthétisant les connaissances existantes sur les conditions de développement et les effets de l’algorithme7 et, en novembre 2023, un article révélant ses paramètres8.
Le Mouton numérique
Trois membres de l’association technocritique le Mouton numérique décident également de se saisir du sujet. Alors qu’elles ont depuis quelque temps déjà l’envie de travailler ensemble à politiser les questions d’inclusion numérique et qu’elles discutent avec La Quadrature du Net sur d’éventuelles collaborations, le besoin des associations d’accès aux droits sociaux leur en offre l’occasion. « Je pense qu’il y avait une demande assez explicitement formulée […] du secteur associatif d’arriver à thématiser la question technique dans les problématiques à la fois de dématérialisation et de contrôle9 ». Elles entrent en contact avec Changer de Cap via l’appel à témoignages.
Leur mobilisation prend la forme d’un cycle de cinq conférences intitulé « Dématérialiser pour mieux régner », entre fin 2022 et début 2023. Il donne la parole à des travailleur·euses sociaux, chercheur·euses et associations françaises et européennes travaillant sur le numérique et le travail social. Le cycle est conçu comme un « échange de pratiques » et un espace de vulgarisation, « pour contribuer à faire du bruit autour de ces questions ». Il vise aussi à « cadrer les luttes10 » en matière de numérique, pour accompagner les associations de lutte contre les inégalités sociales (dont Changer de Cap) dans la formulation de leurs revendications.
Une alliance progressive
Cette mobilisation coordonnée n’est pas allée de soi. Elle repose d’abord sur une part de hasard et d’interconnaissances : la présence, dans chacune des structures, de personnes sensibles au sujet et capables de faire des ponts entre différents mondes (inclusion numérique, domaines académique, technique, administratif…).
Ensuite, pour transformer l’essai, les associations doivent apprendre à travailler ensemble. La Quadrature du Net et le Mouton numérique, qui sont déjà en lien, approchent Changer de Cap avec prudence. Elles ont du mal à situer le collectif politiquement, et sont initialement sur des modes d’action différents de ceux de Changer de Cap. L’intention première est donc de trouver la manière la plus efficace de collaborer sans dénaturer les luttes des un·es et des autres.
La création d’espace de rencontres (notamment le cycle de discussion mené par le Mouton numérique, systématiquement suivi de pots) et le temps long de la mobilisation se révèlent cruciaux. Ils permettent non seulement de dissiper certains doutes, mais aussi de construire une relation de confiance durable et une culture partagée. Progressivement, les revendications convergent, et les collaborations se créent sur d’autres sujets.
En parallèle de la mobilisation militante, deux médias commencent à enquêter sur l’algorithme de ciblage.
Lighthouse Reports et Le Monde
Lighthouse Reports est un consortium de journalisme d’investigation travaillant dans le monde entier via des partenariats avec des publications nationales ou locales. En 2021, il décide de prototyper des « enquêtes de redevabilité algorithmique » en Europe telles qu’existant aux États-Unis sur les algorithmes de justice prédictive11. Le choix se porte sur le domaine de la protection sociale, considérée comme emblématique des démocraties européennes. Il s’agit d’avoir accès au code source12 d’un de ces algorithmes pour pouvoir l’analyser de manière technique. L’équipe envoie des demandes d’accès aux documents administratifs (CADA) à neuf pays européens, dont la France, dans l’espoir d’obtenir des informations. Ils reçoivent le code source de l’algorithme de ciblage, caviardé.
En mai 2023, deux journalistes de l’équipe des Décodeurs du Monde participent à une conférence de datajournalisme où les journalistes de Lighthouse Reports présentent leur enquête sur l’algorithme discriminatoire de lutte contre la fraude sociale utilisé à Rotterdam. Les Décodeurs et Lighthouse Reports se rejoignent dans leurs méthodes d’enquête : mobilisation du droit d’accès aux documents administratifs, datajournalisme, habitude des collaborations internationales.
Les Décodeurs, qui désiraient depuis quelques mois se pencher sur les systèmes numériques utilisés par les CAF, apprennent l’existence de l’algorithme de ciblage. « [Lighthouse Reports] avaient déjà fait un travail préliminaire qui nous a ouvert la porte13 ». Par l’enquête, ils veulent montrer que l’on peut rendre un sujet technique abordable, et qu’il faut s’intéresser aux outils numériques utilisés dans les politiques publiques.
Le 4 décembre 2023, une semaine après La Quadrature du Net, ils publient en partenariat avec Lighthouse Reports une série de quatre articles sur l’algorithme en Une de l’édition papier du Monde et en première page de l’édition web.
Ainsi, pour contester l’algorithme, les acteurs conjuguent deux stratégies : montrer les humains qui subissent les conséquences de l’algorithme, et rendre public son fonctionnement technique.
Contester par l’humain : collecter des témoignages
À la rentrée 2021, Changer de Cap est interpellé par des associations d’accompagnement des allocataires des prestations sociales. Elles constatent de plus en plus de dysfonctionnements dans les CAF, tant au niveau du calcul des droits que des contrôles. « On s’est dit : “bon, c’est bizarre, est-ce que c’est des situations particulières, ou est-ce que c’est plus généralisé dans les faits ?”14 ». Changer de Cap lance alors un appel à témoignages auprès de 600 contacts du collectif.
Fin 2021, le collectif a reçu une centaine de témoignages de la part d’assurés sociaux, d’accompagnants ou d’agents des CAF. Il se charge de les vérifier et de les classer afin d’identifier différents types de « dérives », dans une démarche inductive. Chaque témoignage est pseudonymisé, daté, numéroté, et fait l’objet d’une brève analyse. Aux témoignages directement reçus par le collectif s’ajoutent ceux récoltés par la coordination dans des rapports et dans la presse. Au total, le « dossier d’appui » comporte une soixantaine de témoignages.
L’impossibilité d’attraper l’algorithme
Les témoignages et leur analyse permettent de mettre en lumière un certain nombre de dysfonctionnements liés au numérique, et notamment à l’automatisation : ici l’algorithme de calcul des APL n’est pas configuré pour prendre en compte les gardes alternées ; là, le logiciel ne reconnaît plus une allocataire ayant changé de nom suite à un divorce.
Cependant, l’algorithme de ciblage reste invisible. Dans les témoignages agrégés par Changer de Cap, la seule mention explicite d’un score de risque se trouve dans le témoignage pseudonymisé de la journaliste Lucie Inland, à l’origine publié dans Télérama15, dont le métier l’a outillée à enquêter sur la situation qu’elle traversait.
Et pour cause : le score de risque sert « seulement » à déclencher les enquêtes des contrôleur·euses, et les allocataires ne sont pas informés des raisons du contrôle. Impossible pour les allocataires de savoir que l’algorithme existe.
S’appuyer sur des sources extérieures
En réalité, c’est via leurs recherches documentaires que les membres de Changer de Cap arrivent à l’algorithme. Les associations d’accès aux droits sociaux peinent à apporter des explications aux problèmes numériques constatés. C’est pour faire sens16 de ces différentes situations que la coordination de Changer de Cap se documente et rentre en contact avec les associations et des chercheur·euses spécialisés dans le numérique.
Or, bien que la mobilisation des associations n’ait commencé qu’en 2021, d’autres acteurs s’étaient déjà saisis du sujet précédemment. Dès 2017, le Défenseur des droits souligne les dangers de telles méthodes17. Plusieurs journalistes publient également sur la question entre 2020 et 202118. Quelques documents émanant de la CNAF et des CAF sont aussi disponibles.
Surtout, le sociologue Vincent Dubois publie plusieurs travaux entre 2015 et 2021 dans le cadre de ses recherches sur les politiques de contrôle de la CNAF19. Son ouvrage, Contrôler les assistés : Genèses et usages d’un mot d’ordre, paraît en 2021. Dubois a eu accès à l’algorithme et a mené des analyses statistiques qui démontrent déjà une tendance au surcontrôle de certains types de populations, notamment précaires.
La publication de son livre et des articles de presse qui l’accompagnent coïncident avec la période où Changer de Cap mène ses recherches. Ils s’avèrent indispensables pour orienter ces dernières. « On a vu aussi qu’il y avait déjà l’algo de notation, il y avait déjà le bouquin de Vincent Dubois. Et il y a eu un article au même moment dans Télérama 20 ».
Ce qui peut frapper, c’est l’accent mis par Changer de Cap sur l’algorithme de ciblage, alors que celui-ci ne ressort pas des récits individuels.
Cadrer le problème par l’algorithme
Le choix de se concentrer sur l’algorithme de ciblage permet, d’une part, à Changer de Cap d’être complémentaire avec les autres associations de lutte contre les inégalités : « Toujours, l’idée, ça a été de ne pas faire ce que faisaient les autres. […] Si ATD Quart Monde et d’autres travaillaient sur la dématérialisation, les soucis d’accès, on n’allait pas refaire ce qu’ils faisaient. […] Et l’algorithme, personne ne s’en occupait21 ». Par ailleurs, se pencher sur les différents algorithmes des CAF (ciblage, mais aussi calcul des droits) permet d’expliquer beaucoup de situations jusque-là incompréhensibles pour les associations de terrain, et ainsi les outiller et les sensibiliser à l’importance des questions numériques.
La décision est également stratégique. « L’algorithme, ça a pris parce que [ça parlait de] ciblage. […] Quand on a réfléchi aux stratégies de médiatisation, […] on s’est dit que c’est l’angle qu’allaient prendre les médias : le ciblage d’une population par un outil informatique, un outil un peu “Big Brother” ». Ce cadre numérique permet de renouveler l’intérêt public pour la question de la lutte contre la pauvreté et pour les politiques sociales22. Le surcontrôle et la maltraitance des allocataires n’émeuvent plus. Après tout, les « assistés » ne méritent-ils pas d’être contrôlés ? Il s’agit alors de provoquer l’indignation en soulignant le caractère invasif de l’algorithme qui surveille et score en permanence.
La campagne autour des témoignages mène à plusieurs reportages fin 2022, notamment par Envoyé spécial23 et par la Cellule investigation de Radio France24. Cette première vague de médiatisation permet l’ouverture d’un dialogue avec la CNAF à partir de début 2023.
Saisir la détresse des allocataires
Si les témoignages ne permettent pas de remonter jusqu’à l’algorithme, ils permettent en revanche de collectiviser la détresse des allocataires. Les conséquences du système deviennent incarnées. Les témoignages révèlent la complexité des situations des allocataires, leur caractère « hors des cases » dans lesquelles les processus automatisés et la mise en données des CAF tentent (et manquent) de les faire rentrer.
Ces témoignages et les échanges avec les associations de terrain ont un poids fort dans le déclenchement de la mobilisation des associations du numérique. Plusieurs de leurs membres confient avoir été marquées par le caractère humain du sujet, qui répond à leur volonté d’approcher la défense des droits numériques via des secteurs plutôt que des outils. « Je pense que là, pour le coup, il y avait quelque chose de très vivant et juste très grave, et qui a fait que… enfin, en tout cas, moi, c’est là que j’ai senti que c’était un sujet important25 ».
Contester par la technique : exposer les paramètres de l’algorithme
Trois acteurs contestent l’algorithme en rendant publics ses critères : La Quadrature du Net et le partenariat Les Décodeurs – Lighthouse Reports.
L’objectif de fond est notamment de contrer l’argument de l’objectivité statistique. « Les promoteurs de ces algorithmes mettent en avant le côté très rationnel, cette espèce d’alibi technique de “oui, mais l’algorithme, il est neutre”. Et l’idée de décortiquer le code, c’était d’arriver aussi avec quelque chose de très rationnel, de les battre à leur propre jeu26 ». Exposer les choix des concepteurs et rendre public l’algorithme, c’est enlever à l’algorithme son vernis d’objectivité et repolitiser le sujet.
Arracher la transparence
Pour analyser les paramètres, il faut d’abord les obtenir. À l’été 2022, la Quadrature du Net fait une demande d’accès aux documents administratifs (CADA) afin d’obtenir le code source de l’algorithme. Problème : la CNAF refuse de communiquer les paramètres, arguant que la transparence pourrait être instrumentalisée par les fraudeurs. Ingénieusement, la Quadrature demande alors le code de l’ancienne version du système, qu’elle parvient à obtenir grâce à un avis favorable de la Commission d’accès aux documents administratifs. En juin 2023, Les Décodeurs l’obtiennent également en suivant la stratégie de la Quadrature du Net.
Il faut maintenant identifier les paramètres. « Ce n’était pas évident […]. J’ai tout recodé dans un langage que je connaissais. C’est un peu comme quand tu expliques à quelqu’un et que tu te rends compte que tu as compris, [comme] se dire : “OK, si je sais le refaire, je comprendrai exactement la mécanique.”27 »
Là encore, la compréhension du terrain est essentielle. Ainsi, Changer de Cap met La Quadrature en relation avec des personnes ayant travaillé dans des CAF, afin d’expliciter certains processus esquissés dans le code source.
Les Décodeurs et La Quadrature du Net travaillent indépendamment l’un de l’autre sur l’algorithme, mais s’entendent sur les dates de publication afin de laisser la primeur à La Quadrature. Ils sont également en contact ponctuel pour comparer leurs résultats, qui corroborent par ailleurs les observations faites par les associations de terrain.
Légitimiter des chiffres
La stratégie fonctionne. Dans la première séquence médiatique fin 2022, l’enquête de la cellule investigation de Radio France exposait les effets des contrôles mais l’algorithme restait une boîte noire. L’écho avait été plus limité, cantonné à l’ouverture (certes notable) du dialogue avec la CNAF et à des réunions avec des député·es.
Cette seconde séquence médiatique a un retentissement beaucoup plus important. De nombreux médias reprennent le sujet, le président du département de Seine-Saint-Denis saisit la Défenseure des droits, le parti EELV interpelle la ministre des Solidarités et de la Santé lors d’une question au gouvernement, l’économiste Thomas Piketty publie une tribune et l’association ATD Quart Monde un communiqué.
Une des grandes différences, c’est qu’on a des chiffres. En utilisant le registre scientifique, La Quadrature du Net et Les Décodeurs/Lighthouse Reports permettent d’apporter une autre légitimité et une nouvelle gravité au sujet28. Pour autant, le registre des émotions mobilisé par les témoignages reste essentiel. Sous l’impulsion de Lighthouse Reports, les deux médias publient également un article centré sur une allocataire ayant été contrôlée. Il devient l’article le plus lu de la série.
Contester l’algorithme,
contester la politique publique ?
Toutefois, cette focale sur l’algorithme peut être à double tranchant. Dans leur étude sur un outil de prédiction des crimes utilisés à Chicago, Marta Ziosi et Dasha Pruss montrent que les « biais algorithmiques » peuvent être utilisés de manière parfois opposée par différents acteurs. Certains, comme ici les associations, appellent à les utiliser pour rejeter le système dans son entièreté (reject). D’autres (dont, souvent, l’administration) les utilisent pour modifier le système sans le transformer véritablement (reform), par exemple en améliorant la transparence ou en rendant la gouvernance plus participative.
Ici, les populations précaires sont surciblées car, statistiquement, leurs dossiers comportent effectivement plus d’erreurs. Mais ces erreurs sont le fait des politiques sociales complexes. Les allocataires du RSA ignorent souvent qu’ils doivent déclarer comme un « revenu » toute somme d’argent versée par leurs proches. Les déclarations tous les trois mois multiplient les risques de se tromper. La Quadrature du Net le rappelle à la publication de l’enquête : « Nous nous attendons à ce que ses dirigeant·es réagissent en avançant qu’iels disposent d’un nouveau modèle plus “équitable”. En anticipation, nous tenons à clarifier un point fondamental : il ne peut exister de modèle de l’algorithme qui ne cible pas les plus défavorisé·es […] ». Ici, il ne s’agit pas donc d’« améliorer l’algorithme », mais de réviser les politiques sociales et les pratiques d’automatisation et de contrôle.
C’est un travail de funambule : comment s’appuyer sur le succès de cette stratégie sans s’y laisser piéger29 ? Une membre de Changer de Cap souligne : « Maintenant, il faut qu’on évite d’aller dans le sens inverse. Après la médiatisation, les gens nous ont écrit en disant “je suis victime de l’algorithme”, mais pas forcément30 ». Si l’algorithme est une accroche essentielle pour renouveler le débat, les associations doivent faire preuve de vigilance et d’ingéniosité constantes pour ne pas s’en laisser déposséder.
1Kolkman, D., « F**k the algorithm”?: What the world can learn from the UK’s A-level grading fiasco », LSE blogs, 26 août 2020.
2Pour des exemples de contestations, voir Attard-Frost, B., « AI Countergovernance », Midnight Sun, et Hearn, A., « The collateralized personality: creditability and resistance in the age of automated credit-scoring and lending », Cultural Studies, 37(1), 123–148, 2022.
3Collinet, P., « Focus – Le data mining dans les Caf : une réalité, des perspectives », Informations sociales, 178, 129-132, 2013.
4Hassenteufel, P., « Les processus de mise sur agenda : sélection et construction des problèmes publics ». Informations sociales, 157, 50–58, 2010.
5VoxPublic, Pour une réforme des pratiques numériques des Caisses d’allocations familiales, 30 août 2022.
6Entretien avec une membre de La Quadrature du Net, 2 août 2024.
7La Quadrature du Net, « CAF : le numérique au service de l’exclusion et du harcèlement des plus précaires », 19 octobre 2022.
8La Quadrature du Net, « Notation des allocataires : l’indécence des pratiques de la CAF désormais indéniable », 27 novembre 2023.
9Entretien avec trois membres du Mouton numérique, 5 février 2024.
10Ibid.
11Angwin, J., Larson, J., Mattu, S., Kirchner, L., « Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks », ProPublica, 16 mai 2016.
12Fichiers techniques contenant les instructions écrites par les développeur·euses et datascientists pour programmer l’algorithme et le permettre de fonctionner.
13Entretien avec deux membres des Décodeurs, 30 janvier 2024.
14Entretien avec une membre de Changer de Cap, 30 janvier 2024.
15Tesquet, O., « Comment l’intelligence artificielle cible les plus précaires », Télérama, 14 octobre 2021.
16Neveu, E., « Chapitre 3 – Cadrer : donner forme aux problèmes publics », Sociologie politique des problèmes publics, Armand Colin, 2022, p. 97-127.
17Défenseur des droits, Lutte contre la fraude aux prestations sociales : à quel prix pour les droits des usagers ?, 2017 ; Toubon, J., Audition de M. Jacques Toubon par la Commission d’enquête de l’Assemblée nationale relative à la lutte contre les fraudes aux prestations sociales, 15e législature, Session 2019-2020. Assemblée Nationale, 4 juin 2020.
18Pierre Januel dans NextInpact le 20 août 2022, Lucie Inland sur le site de l’ONG AlgorithmWatch le 15 avril 2021, Olivier Tesquet dans Télérama le 13 octobre 2021.
19Voir la contribution de Maud Barret-Bertelloni dans ce même numéro.
20Entretien avec une membre de Changer de Cap, 30 janvier 2024.
21Ibid.
22Abebe, R., Barocas, S., Kleinberg, J., Levy, K., Raghavan, M., & Robinson, D.G., « Roles for Computing in Social Change ». ACM Conference on Fairness, Accountability, and Transparency (FAT* ’20), ACM, 2020.
23Gauvin, A., Lerch, S., Delevoye, E., & Krouk, M. (2022, 1er décembre), « La CAF ne répond pas », Envoyé Spécial.
24Collombat, B. (2022, 9 décembre), « Quand des algorithmes notent les allocataires de la CAF », France Inter.
25Entretien avec trois membres du Mouton numérique, 5 février 2024.
26Entretien avec une membre de La Quadrature du Net, 2 août 2024.
27Entretien avec deux membres des Décodeurs, 30 janvier 2024.
28Neveu, E., chapitre 4 – Justifier : fonder l’importance des problèmes publics, Sociologie politique des problèmes publics, Paris, Armand Collin, 2022, p.129-159.
29Voir aussi Abebe et. al, op cit.
30Entretien avec une membre de Changer de Cap, 30 janvier 2024.
Sur le même sujet
Articles les plus consultés
- La catastrophe radioactive de Goiânia au Brésil. Conflits sur l’interprétation d’un désastre, comment vivre après ?
- Il faut défendre les invulnérables. Lecture critique de ce qu’on s’est laissé dire, à gauche, sur la pandémie de covid
- L’art queer de ne pas réussir
- Care domestique : des histoires sans début, sans milieu et sans fin
- Genre is Obsolete