En catimini pendant les fêtes, le gouvernement a déposé le projet de loi concernant les jeux Olympiques et Paralympiques de 2024. Comme on l’attendait, ce texte prévoit d’ouvrir la voie à la légalisation de la vidéosurveillance automatisée (ou algorithmique, abrégée « VSA »), le tout sous un vernis théorique d’expérimentation limitée dans le temps. Et ce alors que partout sur le territoire, ces technologies sont déjà employées dans l’illégalité et l’impunité la plus totale. Prenant pour prétexte l’organisation prochaine des grandes compétitions sportives, le gouvernement et nombre de parlementaires se posent en défenseurs de l’industrie française en lui permettant de s’étendre durablement sur le marché de la vidéosurveillance.

Pour rappel : la vidéosurveillance automatisée, c’est la surveillance policière massive de l’espace public pour détecter des comportements réputés « anormaux » ; c’est le suivi algorithmique d’individus « suspects » dans la rue ; c’est l’intelligence artificielle pour faire la chasse aux illégalismes populaires ; c’est, à terme, l’identification par reconnaissance faciale en temps réel et la massification de la vidéoverbalisation ; ce sont des dizaines de millions d’euros d’argent public pour des technologies dangereuses déployées sans aucun débat digne de ce nom.

Si nous voulons tenir en échec ce projet de société, il nous faut obtenir coûte que coûte le rejet de ces dispositions. Tenez-vous prêt·es pour la mobilisation !

Cela fait plus de trois ans que nous documentons l’expérimentation illégale de la vidéosurveillance automatisée dans les villes et les villages français, que nous saisissons les tribunaux, dans des grandes villes comme à Marseille ou de petits villages comme à Moirans (Isère), pour dénoncer l’illégalité de ces technologies de surveillance dopées à l’intelligence artificielle. Trois années que, de leur côté, le gouvernement et les industriels se savent dans l’illégalité et qu’ils cherchent à changer la loi pour sécuriser ces déploiements sur le plan juridique. En 2020 déjà, la loi Sécurité Globale avait failli servir de canal législatif. Par peur des oppositions, le gouvernement avait alors préféré temporiser. Mais cette fois, nous y sommes…

L’opportunisme des Jeux olympiques

Le choix des Jeux olympiques et paralympiques de 2024 pour tenter de légaliser ces technologies n’est pas anodin. Les JO sont un « méga-évènement » qui, par leur dimension exceptionnelle, vont permettre la mise en œuvre et l’accélération de politiques tout aussi exceptionnelles. Comme cela a pu être observé lors des précédentes éditions, ces évènements sont l’occasion d’innovations législatives sécuritaires. Les lois accompagnant les Jeux olympiques mettent systématiquement en place un cadre pour un maintien de l’ordre strict, une militarisation de l’espace public ou encore une intensification des mesures de surveillance.

Le chercheur Jules Boykoff compare ce phénomène d’accélération législative à la « théorie du choc », développée par Naomi Klein, selon laquelle les gouvernements utilisent une catastrophe ou un traumatisme social pour faire passer des mesures basées sur la privatisation et la dérégulation. Les Jeux olympiques apparaissent eux aussi comme un accélérateur de politiques exceptionnelles, mais cette fois-ci en prenant appui sur un moment de fête ou de spectacle, par essence extra-ordinaire, où les règles politiques pourraient être temporairement suspendues, pour faire progresser des politiques qu’il aurait été difficile, voire impossible, de mettre en place en temps normal. 

Le gouvernement brésilien a ainsi utilisé les Jeux olympiques de 2016 à Rio pour mener des opérations quasi militaires dans les favelas ou expulser des personnes de leur logement. De la même manière, pour les Jeux olympiques de Tokyo, le gouvernement japonais a fait passer une loi « anti-conspiration » en réalité voulue de longue date pour mater les groupes militants et syndicaux. Les gouvernements précédents avaient tenté sans succès à trois reprises de faire passer une législation analogue. Cette loi a été très critiquée, notamment par les Nations Unies, au regard des atteintes aux libertés qu’elle créait et aux pouvoirs de surveillance qu’elle conférait à l’État. 

De la même manière, les méga-évènements sportifs sont souvent qualifiés de « spectacles de sécurité » ou « vitrines sécuritaires » puisqu’ils permettent à la fois d’être des moments d’expérimentation et des laboratoires des technologies, mais aussi de jouer sur ce moment exceptionnel pour atténuer les mesures de surveillance et les rendre plus acceptables (on vous en parlait notamment déjà ici et là).

Paris dans la course

Le choix du gouvernement français d’introduire les expérimentations de vidéosurveillance automatisée dans la loi sur les JO 2024 répond exactement à ce schéma et cette logique d’instrumentalisation des méga-évènements. Alors qu’aucune étude publique et scientifique n’existe sur ce sujet et qu’aucun besoin n’a été précisément identifié, les mesures concernant la VSA sont présentées par le gouvernement et certains parlementaires comme nécessaires à la sécurité de cet évènement. 

Dans l’analyse d’impact, le gouvernement se contente de prendre comme exemple la détection de colis abandonnés : « Plutôt que d’attendre son signalement par des effectifs de voie publique ou sa localisation par les opérateurs chargés du visionnage de milliers d’images de vidéosurveillance, cette mesure permettrait de gagner un temps précieux » et « seule l’utilisation d’un traitement algorithmique est de nature à signaler en temps réel cette situation à risque et de permettre aux services concernés de l’analyser et d’y donner suite le cas échéant.» Voilà pour la seule justification à l’introduction d’une surveillance algorithmique de l’espace public que le gouvernement entend déjà pérenniser et qui concerne potentiellement des millions de personnes.

Car en réalité, les expérimentations s’insèrent dans un projet politique plus large et satisfont les désirs exprimés depuis plusieurs années par le secteur industriel et les institutions policières d’utiliser massivement ces dispositifs. Il est donc certain que ces outils ne seront pas abandonnés après la fin de la période d’expérimentation, de la même manière que les boites noires des services de renseignement ou les règles dérogatoires de l’état d’urgence de 2015 ont été pérennisées alors qu’elles étaient censées être temporaires et exceptionnelles. D’ailleurs, des parlementaires en vue sur ce dossier, comme Philippe Latombe, évoquent dores et déjà une autre loi, plus généraliste, à venir sur le même sujet dans le courant de l’année 2023.

Un laisser-passer pour le marché de la VSA

Afin de permettre le développement de la VSA, le gouvernement a prévu un article 7 au sein du projet de loi qui propose un processus d’expérimentation découpé en plusieurs étapes jusqu’en juin 2025. Derrière cet apparent formalisme procédurier, l’article 7 constitue en réalité un tremplin pour la vente des logiciels de VSA à l’État et aux collectivités locales par le secteur privé. 

Si la loi est présentée comme concernant les Jeux olympiques, c’est en réalité sur une quantité d’évènements toute autre que les algorithmes vont être déployés pendant la durée prescrite pour les expérimentations : festivals de musique, courses de marathon, spectacles en plein air, marchés de Noël ou encore la coupe du monde de rugby 2023. Autant d’évènements « sportifs », « récréatifs » ou « culturels » qui serviront de terrain de jeux à ces algorithmes. D’ailleurs, le périmètre de ces évènements est également très large puisque les images utilisées iront jusqu’aux abords de ces lieux et aux moyens de transport les desservant (l’intérieur et les voies).

Tout d’abord, les expérimentations sont censées respecter une double condition qui épouse parfaitement le vocable et les offres créés par le marché de la VSA. Premièrement, elles doivent avoir pour finalité « d’assurer la sécurité de manifestations sportives, récréatives ou culturelles, qui, par leur ampleur ou leurs circonstances sont particulièrement exposées à des risques d’actes de terrorisme ou d’atteinte grave à la sécurité des personnes ». Deuxièmement, l’objet des traitements doit être « de détecter, en temps réel, des événements prédéterminés susceptibles de présenter ou de révéler ces risques et de les signaler en vue de la mise en œuvre des mesures nécessaires » pour une panoplie de services de sécurité (la police et la gendarmerie nationales, la police municipale, les services d’incendie et de secours et les services internes de sécurité de la SNCF et de la RATP). Les images traitées peuvent être celles issues des caméras de surveillance ou des drones, ces derniers étant autorisés depuis l’année dernière.

Comme pour beaucoup de dispositifs de surveillance, le gouvernement se justifie par une logique de prévention de risques. Et, comme souvent, ceux-ci sont si largement définis qu’ils peuvent inclure un nombre très large de situations. On retrouve à travers la fonctionnalité de détection d’évènements le cœur des dispositifs conçus et vendus par le marché de la VSA : deviner et classer les comportements « à risque » dans l’espace public et alerter sur ceux qui nécessiteraient une attention et une intervention de la police. Ainsi, dans la loi, l’« intelligence artificielle » (qui n’est jamais définie dans le texte) permettrait de déceler dans nos manières de vivre, bouger, marcher celles qui doivent déclencher – ou non – une alerte. 

Dans l’étude d’impact, les seuls « impacts sociaux » que le gouvernement relève seraient des avantages : la VSA « renforcerait » la sécurité, garantirait la « préservation de l’anonymat dans l’espace public et l’absence d’atteinte au droit à la vie privée » du fait de l’absence de reconnaissance faciale – carrément ! – et, enfin, les exigences de la loi permettraient la « neutralité de l’outil ». De son coté dans son avis, le Conseil d’État reprend la même logique que celle promue par les entreprises, à savoir que la fonction de l’algorithme se limite à une « levée de doute », minimisant ainsi le rôle du logiciel dans la prise de décision des agents de sécurité qui se déresponsabilisent derrière un outil technique. La CNIL, elle, est aux abonnés absents, se contentant de se féliciter que les « garanties » exigées dans sa précédente position qui appelait à légaliser la VSA aient été reprises dans le projet de loi…

Nous l’avons dénoncé à plusieurs reprises : ces outils sont tout sauf neutres. Dans la pratique actuelle du secteur, ces évènements vont de la « détection de comportement suspect », au « maraudage » (le fait d’être statique dans l’espace public), en passant par le « dépassement d’une ligne virtuelle » (c’est-à-dire l’entrée d’une personne dans une zone), le suivi de personne, la détection d’objets abandonnés, d’une bagarre ou encore d’un vol. Les comportements dits « suspects » ne reflètent aucune réalité tangible mais ne sont que la matérialisation de choix politiques subjectifs et discriminatoires qui se focalisent sur les personnes passant le plus de temps dans la rue : par exemple, sous la fonctionnalité de détection du « maraudage » se cache en réalité une chasse aux personnes mendiant. Qu’elle soit humaine ou algorithmique, l’interprétation des images est toujours dictée par des critères sociaux et moraux, et l’ajout d’une couche logicielle n’y change rien. Au final, elle automatise et massifie la prise de décision de la police pour mieux lui permettre d’augmenter son pouvoir de surveillance et de répression. 

Afin de pousser cette stratégie de minimisation de sa surveillance, le gouvernement affirme également que ces dispositifs ne traiteraient pas de données biométriques (ce qui est faux comme nous l’expliquions ici, et comme l’a récemment rappelé le Défenseur des droits¹Dans son rapport « Technologies biométriques : l’impératif respect des droits fondamentaux » de 2021, le Défenseur des droits considérait déjà les technologies de VSA comme des traitements de données biométriques. En 2022, il rappelait que la VSA consiste à traiter des données biométriques dans son enquête sur la « Perception du développement des technologies biométriques en France ».) et qu’ils ne feront pas de reconnaissance faciale. En s’engageant à renoncer pour l’instant à cette technologie qui a une place bien particulière dans l’imaginaire collectif, il joue ici un jeu politique et stratégique de communication pour donner à la VSA une image moins dangereuse. Le discours consiste à affirmer que la VSA ne reposerait « que » sur une analyse d’images purement technique qui ne se contenterait « que » d’« assister » l’humain. À nouveau, le gouvernement et le Conseil d’État piochent ici directement dans la pile d’arguments des marchands et promoteurs de la VSA. Celle-ci n’est en rien moins dangereuse que la reconnaissance faciale et touche à la même intimité du corps. En d’autres termes, la reconnaissance faciale n’est que l’une des nombreuses applications de la VSA. Et il y a fort à parier que son usage pour identifier des personnes en temps réel sur la voie publique sera à son tour légalisé, à l’occasion d’une prochaine et énième loi sécuritaire. Dès 2018, c’est d’ailleurs cet usage-là que des élus comme Christian Estrosi, le maire Horizons de Nice, mettaient en avant pour légitimer le recours à la vidéosurveillance automatisée dans leurs villes.

L’État aux manettes

Ensuite, le projet de loi prévoit que la confection et le déploiement des algorithmes soient divisé·es en plusieurs étapes, toutes supervisées par le pouvoir exécutif et avec le moins d’obstacles ou de gardes-fous possibles. 

Tout d’abord, à l’instar de la vidéosurveillance classique, les services de l’État ou des collectivités locales devront faire une demande d’autorisation au préfet. Ces demandes d’autorisation devront identifier un évènement précis où l’expérimentation aura lieu (par exemple le marathon de Paris en avril 2023 ou le festival des Vieilles Charrues en juillet) et définir l’algorithme à mettre en œuvre (quel « évènement » détecter, les spécificités de la situation justifiant l’usage de la VSA, qui peut y a voir accès, comment cela est financé…). Une analyse « bénéfices/risques » doit également être jointe à cette demande mais ce type de document est classiquement exigé en droit des données personnelles et il a dores et déjà fait la preuve de son incapacité à protéger les libertés publiques (ces analyses d’impact sont généralement mal rédigées par les demandeurs et n’empêchent presque jamais le déploiement de dispositifs qui pourraient plus tard être jugés illégaux par la justice).

Pour fabriquer le logiciel, l’État et les collectivités auront trois options : le développer eux-mêmes, le faire développer par un tiers, ou bien l’acquérir directement sur le marché. C’est bien entendu ces deux dernières options qui seront très probablement privilégiées puisqu’il est bien moins cher et bien plus rapide de confier la tâche à des entreprises qui le font depuis des années que de créer un service d’ingénieur·es en interne (qui gagneraient d’ailleurs davantage dans le secteur privé). Et du coté des industriels de la VSA – les gros comme Thales ou Idemia, les plus petits comme Briefcam, Aquilae, XXII, Two-I ou Datakalab –, c’est banco  ! Cette loi va leur permettre de démultiplier les déploiements en apportant un cadre juridique qui fait largement défaut jusqu’à présent, en réorientant l’ensemble des développements de leurs technologie de « vision assistée par ordinateur » vers des applications sécuritaires.

Quant aux foules passées au crible de ces systèmes au cours de la multitude d’évènements où auront lieu les tests, elles serviront de cobayes : le projet de loi prévoit en effet que les images de vidéosurveillance « classique » encadrées par le code de sécurité intérieure pourront être utilisées comme données d’apprentissage si leur durée de conservation n’est pas expirée. Or, on apprend dans l’étude d’impact que « si la réutilisation de ces données est nécessaire à la correction des paramètres du traitement, ces dernières peuvent être conservées au-delà de ces durées, dans la limite de la durée de l’expérimentation et pour ce seul usage, afin de parfaire l’apprentissage des algorithmes ». Cela signifie que les entreprises de VSA pourront donc disposer d’un volume conséquent d’images pour entraîner leurs algorithmes. Et les citoyen·nes filmé·es deviendraient tout simplement leurs rats de laboratoire. 

Coté technique, le projet de loi prévoit que le développement du logiciel devra répondre à des exigences qui sont en total décalage avec la réalité de la confection de ce type de logiciels d’analyse d’image. Nous y reviendrons plus longuement dans un prochain article. 

Ces exigences feront l’objet d’une attestation de conformité établie par une autorité administrative qui n’est pas encore définie et selon des critères et des méthodes qui ne sont jamais précisées. On apprend dans l’étude d’impact que l’État demandera probablement de l’aide à un « organisme de certification spécialisée ». Sans doute un autre acteur privé ? En tout cas, la seule chose qui est demandée aux industriels est de « présenter des garanties de compétences et de continuité et fournir une documentation technique complète ». 

Une fois le logiciel prêt, ce seront le préfet du département et, à Paris, le préfet de police qui autoriseraient l’utilisation des algorithmes auprès des services de sécurité qui en feront la demande. Ils seront également les seuls à pouvoir décider d’arrêter son utilisation ou de la renouveler, tous les mois, si les conditions sont remplies. À la fin de tout ça, ce que l’on remarque, c’est l’absence criante de la CNIL. Évincée du processus, ses pouvoirs sont extrêmement limités et jamais contraignants, qu’il s’agisse du décret d’autorisation de l’expérimentation (il s’agit d’un avis uniquement consultatif), dans la décision du représentant de l’État ou du préfet de police de mettre en œuvre le système (cette décision lui est simplement adressée) ou dans le suivi de expérimentation (le préfet la tient au courant « au tant que besoin », c’est-à-dire selon son bon vouloir).

Cette éviction de tout contrôle indépendant n’est pas étonnante et s’inscrit dans la perte de pouvoirs de la CNIL observée depuis le début des années 2000, celle-ci étant mise à distance sur les sujets de surveillance étatique pour se concentrer vers l’accompagnement des entreprises. L’absence de réaction forte de la CNIL face au déploiement de la VSA pour préférer le dialogue complaisant avec ses constructeurs confirme bien sa mue en autorité régulatrice du secteur économique de la surveillance. 

La bataille commence

Le gouvernement avait ce projet dans ses cartons depuis longtemps. Nous ne souhaitons en aucun cas l’améliorer ou rafistoler la loi : nous voulons le rejet pur et simple de cet article 7 pour le projet de société de surveillance qu’il incarne. 

La VSA est un changement de dimension de la surveillance de masse. En autorisant l’État à analyser, classer, évaluer les mouvements et comportements de chaque individu dans l’espace public, en lui donnant des pouvoirs de décision décuplés par l’automatisation de la prise de décision, cette technologie transforme notre rapport à l’espace public et démultiplie les capacités de contrôle et de répression de la police. 

Nous allons nous battre pour que cette première étape de la légalisation de la VSA ne puisse jamais voir le jour. Nous allons avoir besoin de vous afin de montrer l’opposition de la société à ces technologies et interpeller les parlementaires. La bataille commence au Sénat dès le 18 janvier, avant que soit transmis le texte à l’Assemblée. Nous reviendrons rapidement avec de nouvelles analyses et des outils pour vous permettre d’agir avec nous ! En attendant, nous vous invitons à venir nombreuses et nombreux en discuter le 14 janvier à la Flèche d’Or, à Paris. Nous parlerons Technopolice et Jeux olympiques avec des militant·es et chercheur·euses qui travaillent sur le sujet, toutes les infos sont ici !

Après avoir documenté l’utilisation d’un algorithme de notation des allocataires à des fins de contrôle social par la CAF (voir ici et ici), nous revenons ici sur la fuite de plus de 10 000 dossiers d’allocataires suite à un ensemble de négligences de la part de l’institution.

Suite à notre travail sur l’utilisation d’un algorithme de notations des allocataires utilisé afin de sélectionner celles et ceux qui feront l’objet d’un contrôle (voir ici et ici), nous avons été contacté·es par la cellule investigation de Radio France (voir leur article ici) à propos d’une base de données contenant plus de 10 000 dossiers d’allocataires de la CAF disponible en ligne sans aucune protection et accessible par n’importe qui.

Une fuite majeure : état civil, situation familiale, données médicales et multiples informations sur les enfants

Pour chaque dossier, 181 variables sont disponibles¹Pour l’explication des variables présentes, voir ce dictionnaire. La liste des variables est accessible ici. D’autres données relatives à la navigation internet des allocataires sur le site de la CAF étaient disponibles.. On trouve notamment les informations suivantes sur chaque allocataire :

• État civil : sexe, date de naissance, nationalité (française ou non), adresse (sans le nom de la ville)²Voir SEXE, DTNAIRES, NATIFAM, LILI4ADR..
• Logement : type de logement (propriétaire, locataire, sans domicile fixe, hébergement à titre gracieux, hôtel…), informations sur le loyer ³Voir OCCLOG, MTAIDEL, MTLOYREM..
• Situation personnelle : célibataire/veuf·ve/en couple/divorcé·e, personne sous tutelle ou non (civile, judiciaire, médicale…) ⁴Voir SITFAM, NATTUT..
• Situation médicale : grossesse en cours ou non, « niveau » de handicap⁵Voir TITUAAH, TOPGRO, CINCAAH..
• Situation professionnelle : « activité » (chômeurs·es, salarié·e, retraité·e, étudiant·e, handicapé·e, personne « inactive ») ⁶Voir ACTRESPD0..
• Situation du conjoint : activité (chômeurs·es, activité « normale », retraité·e, étudiant·e, handicapé·e, « inactive »), date de naissance ⁷Voir PRESCONJ, DTNAICONJ, ACTCONJ..
• Situation familiale : nombre de personnes du foyer, nombre d’enfants, existence de pensions alimentaires, de garde alternée, revenus du foyer ⁸Voir SITFAM, PERSCOUV, NBENLEFA, TPA, NBUC, RUC..
• Pour chaque enfant de l’allocataire : date de naissance, sexe, s’il ou elle est orphelin, a été abandonné·e à la naissance, sa « qualité » (« infirme », étudiant·e, stagiaire, salarié·e, apprenti·e), s’il ou elle est à charge ou encore en résidence alternée⁹Voir variables DNAIENF, CATEENF, QUALENF, ENFASFVERS..
• Type et montant des allocations : Allocations familiales, APL, RSA, Prime d’activité, Allocation d’adultes Handicapés ¹⁰Voir toutes les variables en *VERS, TITUAAH..

L’exposition de cette base de données révèle donc énormément d’informations personnelles et sensibles sur plus de 10 000 allocataires. Et ce depuis plus d’un an et demi¹¹Les premiers exercices semblent avoir été publiés en mars 2021., sa date de mise en ligne remontant à mars 2021.

L’authenticité de ces données a été vérifiée par des journalistes de Radio France qui ont contacté plusieurs des allocataires identifiés à partir des informations disponibles.

Des données transférées à un prestataire privé sans aucune justification

Ces données ont été mises en ligne par un prestataire privé à qui la CAF avait demandé de former ses agent·es à la manipulation d’un logiciel de traitement statistique. C’est dans le cadre de cette formation que la CAF a communiqué quelques 10 000 dossiers d’allocataires à ce prestataire. Le but était qu’il puisse créer des exercices portant sur des cas réalistes.

À la vue du niveau très basique des exercices proposés dans la formation (manipulation simple de variables, tri de données, export/import de tables…), rien ne justifie l’utilisation de données personnelles des allocataires. En d’autres termes, les exercices auraient pu être réalisés avec des jeux de données complètement anodins (accessibles publiquement par exemple).

Contacté par Radio France, le prestataire a lui-même dit qu’il pensait que les données envoyées étaient « fictives », ajoutant qu’il n’avait pas demandé de données réelles car cela n’était pas nécessaire…

Ce transfert de données semble donc révéler le peu de cas que la CAF fait de nos données personnelles. Ou plutôt un sentiment de propriété de nos données personnelles de la part de ses responsables, qui semblent trouver cela normal de les transférer sans aucune raison à des prestataires privés… Ou de les utiliser pour développer un algorithme de notation ciblant les plus précaires.

Petit rappel aux responsables de la CAF (1/2) : supprimer les noms et prénoms ne revient pas à anonymiser des données

Certes, la CAF avait pris la « précaution » d’enlever du jeu de données les noms et prénoms des allocataires ainsi que le code postal. Mais une simple recherche à partir du reste de l’adresse (numéro et nom de rue), sur un site comme les Pages jaunes, suffit à identifier de nombreuses personnes.

C’est cette approche qu’a adoptée l’équipe de Radio France pour vérifier l’authenticité des données via l’appel à des allocataires dont la trace a été retrouvée.

Ainsi la CAF semble ignorer les principes de base de l’anonymisation des données personnelles. Une anonymisation correcte nécessite bien plus de traitements de manière à ce qu’il ne soit pas possible d’identifier les individus auxquels sont rattachés les données. Il faut par exemple supprimer, ou a minima modifier, les informations directement identifiantes (date de naissance et adresse par exemple). Nous redirigeons ces responsables vers le guide de la CNIL portant sur ce sujet.

Petit rappel aux responsables de la CAF (2/2) : chiffrer ses données, c’est bien

Pire, la base de données a été publiée sans que son accès n’ait été protégé. On aurait pu imaginer, a minima, que le prestataire les chiffrerait avant de les mettre en ligne pour les élèves de la formation à qui il aurait communiqué le mot de passe protégeant le fichier.

Mais même cette mesure de précaution élémentaire a été écartée. Le fichier contenant les informations a été publié sans la moindre protection. Il était donc accessible à toute personne se rendant sur le site du prestataire.

Le « Centre National d’Appui au Datamining » au centre des controverses

L’analyse des adresses des allocataires présentes dans les fichiers révèle que la plupart se trouvent en région bordelaise. Or c’est à Bordeaux que se trouve le « Centre National d’appui au Datamining » (CNAD)¹²Le centre d’appui au datamining (CNAD) a été créé en 2012 à Bordeaux par la CAF de Gironde. Voir notamment l’article de Mathieu Arzel dans le numéro 58 revue Regards publié en 2020 et disponible ici. de la CAF.

Ce centre a été créé en 2012 pour développer le fameux algorithme de notation des allocataires aujourd’hui vivement contesté (voir ici, ici, ici, ici ou encore ici).

Il est ainsi légitime de se demander si la formation ayant conduit à la fuite de données était à destination des agent·es du CNAD. Peut-être même d’agent·es ayant vocation à travailler sur l’algorithme de notation lui-même ?

La CAF doit rendre des comptes sur ses pratiques numériques

Les révélations sur les pratiques numériques nocives et irrespectueuses des données personnelles des allocataires par la CAF s’accumulent. Face aux questions légitimes qui lui sont posées, la CAF préfère s’enfermer dans l’opacité (voir notre article ici).

Nous n’arrêterons pas pour autant de les documenter.

Image d’illustration : reconstitution d’un extrait de la base de données concernée par la fuite.

Extrait du code source de l’algorithme de notation transmis par la CAF.

Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de contrôle social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de profilage attribuant à chaque allocataire une note ou «score de risque». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

Cet algorithme symbolise l’étendue des dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de tri et d’évaluation continue de chacun de nos faits et gestes.

Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le code source de son algorithme¹Voir notre demande CADA ici. Et sa réponse est affligeante²Voir la réponse de la CAF ici et le code source caviardé ici..

Sortir de la précarité pour “tromper l’algorithme”

Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »³Voir la réponse de la CAF ici et le code source caviardé ici..

Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le code source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme»⁴Voir la réponse de la CAF ici et le code source caviardé ici.. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

La CAF croit-elle vraiment que les critères liés à la précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté?

Ce raisonnement frise l’absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

Pire, le secrétaire général de la CAF entretient publiquement la confusion entre fraudes et erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.

En réponse à un journaliste de Radio France⁵Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours. l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter: « Il faut que l’on ait un coup d’avance ».

Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires⁶Voir notre article présentant l’algorithme de notation des allocataires de la CAF disponible ici.. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».

De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement⁷Un algorithme similaire a fait l’object d’un scandale retentissant aux Pays-Bas. Discrimantn. Sur ce sujet, voir notamment le rapport “Xenophobic machines: Discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal” publié en 2021 par Amnesty International et disponible ici.?

Déni de justice

Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les paramètres de cet algorithme⁸Voir l’article R-311-3-1-2 du CRPA disponible ici. . Ce qui signifie que les personnes ayant fait l’objet d’un contrôle⁹En tout état de cause, le fait de ne pas avoir été contrôlé est aussi une décision administrative. Le CRPA donne donc des droits étendus à toute personne ayant été notée, qu’elle ait été contrôlée, ou non. sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.

Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé¹⁰Le communiqué de la CNAF daté du 27 janvier 2022 et intitulé « Aide à la détermination des dossiers allocataires nécessitant une vérification à l’aide d’un procédé de datamining » est disponible ici. La délibération de la CNIL du 24 mars 2010 est disponible ici. Il est à noter que l’algorithme a à priori grandement évolué depuis la délibération de la CNIL datant de plus de 12 ans. Comme nous l’expliquions ici, la délibération de la CNIl fait notamment référence à un modèle de lutte contre la fraude, alors que l’algorithme est aujourd’hui entraîné pour détecter les erreurs.. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.

Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.

La discrimination : un savoir-faire à protéger

Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.

En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables¹¹Voir le (faux) Vrai/Faux dans ce document., la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable¹²Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours..

Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »¹³Voir la réponse de la CAF ici et le code source caviardé ici.. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses?

A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.

Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »¹⁴Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours..

Vingt ans de développement… et aucun compte-rendu de réunions

Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…¹⁵Voir la réponse de la CAF ici et le code source caviardé ici.

Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.

Le retour de l’alibi technique

A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme¹⁶Le document, publié sur le site de la CAF, est disponible ici..

A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.

L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute¹⁷Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours. de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».

Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité¹⁸Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la ‘lutte contre l’assistanat’, et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250. Voir aussi le rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil, disponible ici..

On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.

Communication mensongère

La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.

A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…

A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de «prime sur leurs résultats», ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle¹⁹Voir par exemple l’annexe d’intéressement 2021 (ici) de la CAF spécifiant un objectif de fraudes détectées et un objectif de taux de recouvrement des indus non frauduleux. La tenue de ces objectifs impacte directement la prime d’intéressement des employé.e.s de la CAF..

A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire²⁰Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours..

Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci.» Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».

Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité²¹Voir à ce sujet l’article de Lucie Inland disponible ici, cet article du Monde et le rapport du Défenseur des Droits «La lutte contre la fraude aux prestations sociales» disponible ici. La fondation Abbé Pierre, le Défenseur des droits et le collectif Changer de Cap ont par ailleurs collecté de nombreux témoignages décrivant la violence vécue par les allocataires lors des contrôles. Difficulté de recours, contrôles répétés, suspension automatique des prestations sociales, intrusion sans précédent dans les moindres recoins de la vie privée. Nous vous invitons à lire l’ensemble de ces témoignages disponibles ici. Voir aussi l’émission de Radio France « Secrets d’info » revenant sur ces questions et disponible ici et l’article l’accompagant ici. qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.

Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »²²Voir notamment ici, ici et ici., c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »²³Voir notamment ici, ici et ici..

A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours²⁴Voir notamment ce tweet.. Comme si l’application des techniques de profilage à des fins «positives» pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.

Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours²⁵Voir l’article de Pierre Collinet “Focus – Le data mining dans les Caf : une réalité, des perspectives” publié en 2013 et disponible ici. Il est expliqué que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude. Il est aussi précisé que les techniques de data-mining pourraient être utilisées à des fins de lutte contre le non recours.. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »²⁶Rapport d’information de l’Assemblée Nationale sur l’évaluation des politiques publiques en faveur de l’accès aux droits sociaux, 2016. Disponible ici. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial²⁷Voir le tome 1 du rapport « Garantir un numérique inclusif : les réponses apportées par les opérateurs de la protection sociale » de l’ Inspection Générale des Affaires Sociales écrit en 2019 et disponible ici. Voir aussi le rapport de la DREES « Le non-recours aux prestations sociales » écrit en 2020 et disponibstyle= »pointer-events: none; » le ici et l’émission de Radio France ici ou ici pour l’article correspondant..

Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »²⁸Voir l’émission de Radio France « Secrets d’info » portant sur l’algorithme disponible ici et l’article l’accompagant ici. Sur les déclarations de son secrétaire général, voir notamment à 28:00 pour la justification du refus de communiquer l’algorithme. Voir aussi à 13:40 sur l’aspect “pédagogique” de l’algorithme. Voir 12:30 pour les remarques de Vincent Dubois sur la lutte contre le non-recours..

En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.

Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.

Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF²⁹Voir le communiqué de nomination de la médiatrice nationale de la CNAF ici. en juin 2022. Parmi ses missions: «la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information.» Et le communiqué accompagnant sa nomination ajoute qu’elle «sera également la référente nationale déontologie». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.

Lutter au-delà de la transparence

La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.

La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.

Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.

A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.

Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.

Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.

Il y a deux semaines, nous relayions le recours d’étudiant·es contre l’usage par l’institut d’études à distance de l’Université Paris 8 du logiciel de surveillance algorithmique des examens « TestWe », recours au soutien duquel La Quadrature est intervenue. Hier, dans une ordonnance particulièrement intéressante, le tribunal administratif de Montreuil a suspendu l’usage de ce logiciel.

La société TestWe, qui édite le logiciel du même nom, se vante de développer un outil qui permet de surveiller automatiquement tout·e candidat·e passant une épreuve à distance. Pour résumer, cette surveillance automatisée consiste à analyser algorithmiquement les candidat·es en train de passer une épreuve écrite en dehors des locaux de l’université : l’identité est vérifiée automatiquement au début et pendant l’épreuve, le regard est analysé en permanence, l’environnement immédiat est constamment scruté par analyse vidéo et sonore (voir notre analyse complète du logiciel). Il s’agit donc là d’un traitement de données personnelles, dont un certain nombre de données sensibles.

La procédure introduite par les étudiant·es et dans laquelle La Quadrature est intervenue consistait à demander, en référé (c’est-à-dire en procédure d’urgence), au tribunal administratif de suspendre l’utilisation du logiciel TestWe par l’institut d’études à distance de l’Université Paris 8.

Pour obtenir cette suspension, il fallait faire naître dans l’esprit du juge administratif un « doute sérieux ». C’est-à-dire démontrer qu’il est assez probable que ce logiciel soit illégal, en tout cas suffisamment pour qu’un examen bref de la situation (vu qu’il s’agit d’une procédure très rapide) permette de déceler une atteinte flagrante aux libertés ¹Ce même « doute sérieux » nous permettait, en 2020, d’obtenir la suspension de l’usage de drones par la préfecture de police de Paris.. C’est exactement ce qu’a constaté hier le tribunal administratif de Montreuil : TestWe est un logiciel qui est assez probablement disproportionné et ce doute justifie que son utilisation soit suspendue.

Quels étaient nos arguments juridiques ? Qu’un traitement de données comme TestWe doit respecter un certain nombre de conditions pour être légal. Parmi ces exigences, il y notamment celle que soit prouvées l’existence d’une base légale (c’est-à-dire que le traitement de données doit être autorisé par la loi), d’une finalité (c’est-à-dire l’objectif pour lequel le traitement est mis en œuvre) et d’une proportionnalité (c’est-à-dire que seules les données nécessaires à l’objectif doivent être traitées, ce qui est parfois appelé « principe de minimisation des données »). Dans nos écritures en soutien aux étudiant·es (une requête en intervention, une note en délibéré puis un mémoire en réplique à l’analyse d’impact hallucinante produite par l’Université), nous avons détaillé en quoi le logiciel TestWe ne reposait sur aucune base légale parmi celle prévue par le RGPD et était disproportionné par rapport à la finalité affichée, c’est-à-dire celle de la surveillance d’un examen à distance.

C’est ce deuxième point, la disproportion, qui a retenu l’attention du tribunal administratif. Il a estimé que le « doute sérieux » permettant d’ordonner la suspension de l’usage de TestWe réside dans le fait qu’il est probable que ce logiciel ne respecte pas l’exigence de minimisation des données du RGPD. Et c’est plutôt une bonne nouvelle que le juge soit sensible à cet argument : cela signifie que le périmètre des informations et données sur les étudiant·es que TestWe collecte est bien trop large et démesuré pour l’objectif poursuivi. En somme, ce n’est pas parce que les données existent ou sont disponibles qu’il est légal de les utiliser pour toute finalité. 

Une ordonnance aux différentes conséquences positives

Tout d’abord, réjouissons-nous que la surveillance algorithmique soit écartée de l’Université : en émettant des doutes quant à la légalité de ce genre de dispositif, le tribunal administratif de Montreuil a envoyé un avertissement à toutes les autres universités et écoles.

Également, au-delà de cette affaire, cette ordonnance ouvre surtout une brèche quant à la reconnaissance de la disproportion des dispositifs de surveillance algorithmique. En mai 2020, lorsque nous faisions interdire les drones du préfet Lallement, le Conseil d’État nous donnait raison parce qu’il constatait l’absence de base légale, c’est-à-dire l’absence d’autorisation par la loi. En décembre 2020, lorsque nous obtenions une nouvelle victoire, le Conseil d’État relevait à nouveau l’absence de base légale (il ajoutait aussi quelques considérations dénonçant le principe même de ce genre de dispositif, ce qui nous avait conduit à parler de « victoire totale »). Mais le problème des victoires obtenues grâce à un défaut de base légale est qu’elles ne durent jamais très longtemps : la loi se change et c’est ce que s’est empressé de faire le gouvernement avec la loi Sécurité globale (partiellement censurée par le Conseil constitutionnel) puis la loi de Sécurité intérieure (cette fois-ci validée par le Conseil constitutionnel).

Concernant TestWe, le tribunal administratif de Montreuil estime que le doute quant à la légalité du dispositif vient de sa probable absence de proportionnalité. C’est-à-dire qu’il reconnaît que surveiller les corps et les sons en permanence n’est pas justifié pour des examens à distance.

Or, depuis 2020, nous nous battons contre la vidéosurveillance algorithmique, qu’elle soit dans des grandes villes comme Marseille ou dans de petits bourgs comme à Moirans (en Isère). Nous nous battons également contre la surveillance sonore, face à la ville d’Orléans qui souhaite être pionnière dans ce domaine. Si ce genre de dispositif n’est actuellement pas autorisé par la loi, cette base légale manquante pourrait bien arriver, en tout cas pour la vidéosurveillance algorithmique, par la loi sur les JO 2024 qui se prépare à légaliser ces pratiques de surveillance de masse de l’espace public. Et c’est là tout l’apport de l’ordonnance sur TestWe : la proportionnalité de ce genre de surveillance algorithmique permanente est désormais sérieusement questionnée.

La victoire des étudiant·es devant le tribunal administratif de Montreuil nous permettra également de mieux nous opposer au souhait de la CNIL de rendre ces dispositifs de surveillance des examens légaux. Contrairement à ce que le juge a conclu, la CNIL souhaiterait consacrer un principe de proportionnalité de certaines surveillances vidéos et audio, et encourager l’usage d’algorithmes de détection de comportements.

Une lutte qui continue

Cette victoire en référé ne met pas un terme à la lutte. Le juge n’a pas dit que TestWe est illégal, simplement qu’il y a un doute sérieux quant à sa légalité. Nous poursuivons donc le combat aux côtés des étudiant·es de Paris 8 dans la procédure au fond (c’est à dire la procédure normale, longue et sans condition d’urgence) pour transformer l’essai et faire reconnaître définitivement par le tribunal administratif de Montreuil l’illégalité de TestWe. Cette décision au fond n’arrivera toutefois pas avant de longs mois.

Sur son site internet, l’entreprise TestWe se vante d’avoir pour clientes des institutions comme le CNED, l’ESSEC, le concours SESAME ou encore Grenoble École de Management. Nous appelons donc les étudiant·es de ces établissements, ainsi que ceux dont l’université ou l’école utiliserait un logiciel similaire à TestWe, mais également les professeur·es et enseignant·es, à poursuivre la lutte initiée par la mobilisation à Paris 8 : faites du bruit dans vos facs, réutilisez les arguments juridiques, créez le rapport de force. La victoire d’aujourd’hui n’attend que de se propager pour, in fine, bouter la Technopolice et toutes les idées qu’elle charrie hors des facs.

[MAJ du 15 décembre] Avec les étudiant·es et leur avocat, nous avons remporté ce contentieux ! On vous en dit plus longuement sous peu.

La Quadrature appelle à soutenir la lutte d’un collectif d’étudiant·es de l’Université Paris 8 contre TestWe, la start-up qui veut technopoliser l’Université. Cette télésurveillance d’examens à distance est déshumanisante, discriminatoire et intrusive, en plus d’être très clairement illégale. À l’appel de ces étudiant⋅es, nous vous donnons rendez-vous le 6 décembre à 14h pour montrer devant le tribunal administratif de Montreuil une opposition massive. La Quadrature est intervenue devant le tribunal administratif pour soutenir cette lutte (lire notre intervention ici).

Si vous êtes aussi victime de telles technologies de surveillance par votre établissement d’enseignement, n’hésitez pas à nous envoyer un mail à contact@technopolice.fr pour nous faire part de votre témoignage.

Il y a deux ans, lors du premier confinement, nous alertions déjà sur la gestion autoritaire des examens à distance par les établissements d’enseignement supérieur.

TestWe, un système discriminatoire, intrusif et déshumanisant

Il est question ici de télésurveillance, c’est-à-dire que les élèves passent leur examens à distance, au même moment, et sous surveillance numérique et automatisée de l’établissement. L’une des entreprises les plus en vue dans ce domaine est TestWe, une start-up française qui étend les outils de surveillance algorithmique déjà déployés dans de nombreuses villes en France à la surveillance des examens.

Initialement, leur logiciel consistait à dématérialiser les épreuves : celles-ci se passaient dans un amphi mais les étudiant·es composaient sur leur ordinateur, fini l’examen papier. Depuis 2019, l’entreprise est passée de la dématérialisation à la surveillance à distance des étudiant.es

TestWe offre une multitude d’outils pour perfectionner cette surveillance : un système de reconnaissance faciale, c’est à dire de photographie de l’étudiant avec sa carte d’identité ou étudiant·e ou d’identité par webcam « pour vérifier que la bonne personne est en face de l’écran ». En complément, une surveillance à 360° de l’environnement de l’élève. Son PDG, Benoît Sillard, se vante ainsi de mettre « en place actuellement un système à double caméras, celle de l’ordinateur qui filme par l’avant, et celle de votre smartphone qui filme l’ensemble de la pièce, pour vérifier qu’il n’y a pas un deuxième ordinateur ou quelqu’un en train de vous souffler ». Les élèves utilisant TestWe se voient par ailleurs obligé·es de céder les droits administrateurs de leur ordinateur au logiciel, de désactiver leur pare-feu, antivirus, VPN. Évidemment, cela nécessite d’être équipé·e avec un ordinateur personnel récent, d’avoir une bonne connexion Internet mais l’exigence va au-delà : disposer d’une pièce (« pas trop éclairée ni trop sombre ») sans bruit et sans autre personne présente, pas même un enfant en bas âge ou un animal de compagnie, par exemple.

Après l’identification, TestWe veut vérifier que les étudiant·es ne puissent pas tricher. Dans sa version classique, les élèves sont photographiés toutes les trois secondes, les images analysées et tout comportement suspect fait l’objet d’un signalement à la plateforme. Avec la version avancée « ProctorWe », les candidat⋅e⋅s doivent aussi filmer la pièce, parfois avec une seconde caméra (et donc être équipé·es d’un smartphone en état de fonctionnement).

Iels ont aussi l’obligation de filmer leur cou ainsi que leurs oreilles, afin de vérifier l’absence d’oreillettes. Cette chasse à la triche n’a pas de limite. Les personnes avec les cheveux longs se voient demander de « dégager leurs oreilles », les personnes qui portent un voile se verraient accuser de fraude, et on ne sait pas ce qu’il est prévu pour les personnes malentendantes… Après identification, l’étudiant⋅e doit respecter une liste aberrante d’interdictions, définissant les comportements suspects et les d’objets qui ne doivent pas être présents dans la pièce.

Et la liste continue : obligation de fixer l’écran, interdiction de manger, d’aller aux toilettes, interdiction de tout bruit « suspect », non prise en compte des handicaps (qui n’ont pas été systématiquement signalés en vue d’un aménagement des conditions d’examen, puisque les étudiants pensaient déjà connaître les modalités auxquelles iels sont déjà habituées)…

C’est donc un véritable matraquage d’interdits bafouant la dignité auxquels devraient faire face les étudiant·es, qui déroge aux conditions d’examen en présentiel (il est quand même toujours possible d’avoir les cheveux détachés, de manger, d’aller aux toilettes, de porter un col roulé lors d’un examen en salle), en plus d’acter une rupture d’égalité entre les élèves (tout le monde ne peut pas posséder le matériel informatique dernier cri, occuper une pièce pendant plusieurs heures sans interruptions possibles). Et à tout cela, s’ajoute évidemment la violation de la vie privée des étudiants et des étudiantes, qu’il s’agisse de leur lieu de vie ou de leur matériel informatique.

Des dispositifs très clairement illégaux

Cette surveillance, constante, intrusive, mêlée de biométrie, et attentatoire aux déplacements ainsi qu’à la vie privée des élèves ne peut en aucun cas remplir les critères de proportionnalité exigés dans le règlement général sur la protection des données ou son application française, la loi Informatique et Libertés.

C’était d’ailleurs en partie le message de la CNIL qui, en pleine période Covid, avait notamment réagi à l’utilisation de TestWe en publiant un premier communiqué rappelant les règles à respecter en matière de vie privée et de surveillance d’examens à distance. Comme souvent, la CNIL semble s’être pour l’instant limitée à une communication sur le sujet et n’a pas, à notre connaissance, sanctionné les entreprises qui continuent à surveiller.
Cependant, dans ce document de 2020, la CNIL semblait condamner l’utilisation de TestWe en soulignant notamment que « n’apparaissent a priori pas proportionnés au regard de la finalité poursuivie :

• les dispositifs de surveillance permettant de prendre le contrôle à distance de l’ordinateur personnel de l’étudiant (notamment pour vérifier l’accès aux courriels ou aux réseaux sociaux) ;
• les dispositifs de surveillance reposant sur des traitements biométriques (exemple : reconnaissance faciale via une webcam). »

Or, si un système n’est pas proportionné, il devient purement illégal, et c’est clairement le cas ici.
Cependant, la CNIL semble aujourd’hui assouplir sa position. Elle vient ainsi, au moment de la publication de cet article, de publier un projet de recommandation sujet à consultation. Ce projet de recommandation promeut une interprétation très permissive du droit à la vie privée en donnant aux entreprises, et particulièrement à TestWe, le bon chemin pour mettre en place son système de surveillance hyper-intrusif (quelle base légale utiliser, comment justifier la reconnaissance faciale…).
Elle va jusqu’à déclarer quels traitements seraient, a priori et de facto, proportionnés.

Malgré l’illégalité de ces pratiques, TestWe continue pourtant, comme une grande partie des entreprises de la surveillance, à se faire de l’argent sur le dos des étudiant·es et de l’Université en contradiction frontale avec les plus élémentaires dispositions du droit à la vie privée et aux données personnelles.

TestWe, profiteur de crise sanitaire

Autre constat, surveiller les étudiant⋅es cela rapporte, et beaucoup. Si l’on s’en tient au chiffre d’affaires déclaré, TestWe aura plus que triplé son chiffre d’affaires entre 2019 et 2020, année du premier confinement, passant de 285.000 euros en 2019 à plus de 928.000 euros en 2020.

Non seulement cela rapporte en terme de chiffre d’affaires, mais cela aide aussi en terme d’investissement. TestWe ne s’est bien évidemment pas lancée toute seule. En juillet 2017, c’est la Banque Publique d’Investissement qui, avec d’autres acteurs financiers, a décidé d’investir dans la start-up en leur donnant 1,3 million d’euros pour lancer leur business sécuritaire. L’accroche ? Le gain de coût à organiser des examens en ligne, avec des robots, et non en salle avec des humain·es : « Avec la digitalisation, on peut diviser par 5 le nombre de personnes affectées à cette tâche ».

Et le succès ne faiblit malheureusement pas : si on en croit la page Linkedin de l’entreprise, ce sont plusieurs dizaines d »universités et d’écoles en majorité privées qui se mettent à utiliser ce système de surveillance biométrique.

Après quelques recherches cependant, il semblerait qu’une bonne partie des établissements du supérieur présents sur le site internet de TestWe n’utilise pas la télésurveillance de l’entreprise mais ont été des clients de la dématérialisation des examens. Seule trace, c’est l’UCLouvain, qui aurait fait l’expérience de la télésurveillance de TestWe lors d’un examen blanc et qui ne l’a pas retenu, évoquant même un « fiasco ».

De la surveillance au greenwashing

Le greenwashing est à la mode et les entreprises de la Technopolice prennent le train en marche ! En plus d’être discriminatoire, intrusif et déshumanisant, le contrôle imposé par TestWe rendrait « obsolète l’examen en salle dans la majorité des cas […] Les candidats sont de plus en plus réticents au stress et sensibles aux problèmes de transport et d’écologie. ». Mais derrière ce discours, les arguments ne tiennent pas : les questions écologiques seraient incompatibles avec le respect des droits fondamentaux et de la dignité humaine. Il est tout de même aberrant de justifier la surveillance par un argument pseudo-vert, quand on sait les coûts incommensurables que représente le numérique dans la pollution des terres à l’autre bout du monde pour produire les objets technologiques, la quantité d’électricité requise dont la part consacrée au numérique est sans cesse en augmentation et, on imagine, tout ce qu’il est nécessaire pour rendre possible des solutions comme TestWe, les quantités de données, d’heures de vidéos conservées afin de surveiller en direct toutes les étudiant·e⋅s.

La lutte des étudiant⋅es contre l’enseignement technopolisé

C’est désormais à l’Institut d’études à distance de Paris 8 d’imposer ces logiciels invasifs, discriminatoires et illégaux et ce, sans aucun dialogue ni possibilité d’opposition de la part des personnes concernées. En effet, fin octobre, la direction de Paris 8 a annoncé aux étudiant·es à distance qu’iels devraient passer leurs examens de janvier sur TestWe sans donner aucune précision sur les modalités de mise en place de cette plateforme. En réaction, un collectif d’étudiant·es s’est rassemblé, a effectué un important travail de documentation du logiciel, de communication auprès des étudiant.e.s et a même lancé une action en justice. Ainsi, après avoir contacté la CNIL, saisi le Défenseur des droits, signé collectivement une lettre d’inquiétude à la direction, le collectif s’est cotisé pour faire appel à un avocat et a décidé de médiatiser l’affaire. Le Tribunal administratif de Montreuil a été saisi en référé pour faire suspendre les décisions de l’IED et enjoindre l’Université à revenir aux conditions initiales d’examen. Une requête au fond a également été déposée pour obtenir une décision plus pérenne.

La Quadrature a déposé une intervention volontaire dans ces recours et nous leur témoignons tout notre soutien ! Vous trouverez nos écritures là.

Nous relayons des extraits de leur communiqué, expliquant la démarche des étudiants et étudiantes de l’IED. Vous pouvez en trouver la version complète ici.

La menace n’est même pas masquée : si TestWe n’est pas retenu, les examens se feront en présentiel et basculeront d’un système semestriel à un système annuel, privant par là-même les L3 de Droit et de Psychologie de candidature en Master. Ils perdraient donc une année. L’objectif de cette communication était bien évidemment de diviser les étudiants contre ceux qui ont exercé leurs droits, tout en évitant à la direction de remettre en question son fonctionnement illégal et liberticide.
L’objectif de l’action juridique est donc de suspendre les décisions illégales de l’IED et de leur faire injonction de revenir à ce qui était prévu en début d’année, à savoir : la passation des examens 2022-2023 à distance et sur la plateforme Moodle.
Il va également de soi que ces nouvelles conditions matérielles de passation des examens représentent une rupture d’égalité de traitement entre les étudiants, tout le monde ne pouvant pas se procurer le matériel à la dernière minute, ni contrôler la stabilité du réseau internet dont il dispose.
Les modalités d’usage imposées par TestWe constituent une véritable atteinte à la vie privée puisque les étudiants vont devoir se plier à une quarantaine d’interdits ou d’obligations liberticides à implémenter chez eux. Elles représentent également une atteinte à la protection des données, sachant que chacun devra désactiver tout pare-feu et anti-virus, laissant ainsi ses données exposées pendant que TestWe exploite les droits administrateurs. Enfin, elles ne ne se font pas dans le cadre d’un consentement libre : les CGU restent inaccessibles tant que le logiciel n’est pas installé. Les droits fondamentaux des individus sont également en jeu. Les personnes de confessions juives ou musulmanes sont impactées par l’obligation de garder tête, oreilles et cou découverts. Par ailleurs, le fait d’être pris en photo toutes les trois secondes porte directement atteinte au droit de l’image. Enfin, plusieurs interdictions totalement disproportionnées (comme, par exemple, manger, aller aux toilettes ou détourner les yeux de l’ordinateur) ne respectent pas la dignité humaine.
Certains étudiants se retrouvent dans des conditions particulièrement difficiles. Nous sommes notamment sensibles aux difficultés des étudiants en situation de handicap, ainsi qu’à tous les étudiants, largement majoritaires, pour qui l’IED représente leur unique chance de faire ces études.

Ces tentatives de nous imposer une télésurveillance liberticide, non respectueuse de la vie privée, de la protection des données personnelles et des contrats pédagogiques que nous avons signés, sont le reflet de l’absence de considération de l’IED envers ses étudiants. Nous ne nous laisserons pas faire.

À moins de deux ans des Jeux Olympiques et Paralympiques de Paris, et à un an de la Coupe du Monde de masculine de rugby présentée comme une sorte de « répétition générale » d’un grand événement sportif en France, où en sommes-nous des projets sécuritaires des décideurs publics ?

Les Jeux Olympiques de 2024 sont un accélérateur de surveillance, un prétexte pour déployer une vitrine sécuritaire des industriels français, qui contribue à renforcer les prérogatives et le nombre des agents de sécurité. Le sécuritarisme qui entoure les JO ne sera pas circonscrit à ces derniers, « l’Héritage » de sécurité des JO est déjà prévu par le Comité d’Organisation des Jeux Olympiques (COJO). Objectif : faire perdurer les investissement déployés pour les JO et la Technopolice qui vient avec. C’est ce qu’on nomme « l’effet cliquet » c’est-à-dire qu’un événement particulier justifie des mesures exceptionnelles qui, ensuite, ne seront plus remises en cause et sans retour en arrière possible.
Après avoir fait un premier état des lieux de cette frénésie sécuritaire, les nombreuses et récentes annonces concernant les Jeux Olympique imposaient une mise à jour des velléités du gouvernement.

Les Jeux olympiques, le prétexte pour légaliser la vidéosurveillance algorithmique

Les grands événements sportifs sont depuis toujours des accélérateurs de surveillance et les Jeux Olympiques de Paris ne sont pas en reste. Quelle meilleure occasion pour tenter de faire rentrer dans la loi des dispositifs aujourd’hui illégaux ? Après avoir envisagé de légaliser la reconnaissance faciale pour l’occasion, c’est la vidéosurveillance algorithmique (VSA) qui semble avoir été choisie par les organisateurs.

Ainsi, comme l’a annoncé le ministre Darmanin lors d’une audition au Sénat, au début de l’année 2023 une « loi sur les Jeux Olympiques » sortira des cartons. L’objectif sera de légaliser la vidéosurveillance algorithmique, c’est-à-dire la détection par logiciel d’événements et de comportements dits « suspects ». Une occasion pour les entreprises françaises de montrer leur savoir-faire en matière de répression, et pour le gouvernement de déployer une technologie encore illégale, mais dont les offres commerciales sont déjà très présentes. En même temps, une mission d’information de l’Assemblée Nationale auditionne des acteurs (entreprises privée comme Datakalab et organismes publics comme la CNIL, ou la Préfecture de police de Paris) sur « les enjeux de l’utilisation d’images de sécurité dans le domaine public dans une finalité de lutte contre l’insécurité ». On sent bien qu’il y a dans l’air une volonté d’accélérer et de de donner une assise légale à l’installation de ces technologies.

Or la VSA est tout aussi dangereuse que la reconnaissance faciale, toutes deux recourant à de l’analyse biométrique, c’est-à-dire à la détection de corps pour repérer ou identifier une personne, comme nous le développions ici ou comme le reconnaît le Défenseur des Droits. La légalisation de la VSA et donc les JO seront surtout l’occasion de déployer toujours plus de caméras de vidéosurveillance. Ainsi aux 4171 caméras de vidéosurveillance déjà déployées par la ville de Paris, l’Intérieur compte en rajouter pas moins de 1000, ainsi que 500 à Saint Denis et 330 à Marseille (où se dérouleront les épreuves nautiques). En tout, ce sont pas moins de 15 000 caméras supplémentaires qui vont être déployées pour les JO et la Coupe du Monde de Rugby, pour 44 millions d’euros via les « plans Zéro Délinquance ». La vidéosurveillance algorithmique et les Jeux sont une nouvelle occasion pour étendre le parc de surveillance de l’espace public.

Les Jeux sont aussi une étape pour travailler l’acceptation par la population de telles technologies. Ainsi, l’état d’exception créé par les Jeux olympiques permet de faire passer des lois sécuritaires qui resteront par la suite, comme l’explique Jules Boykoff. Depuis le début de la campagne Technopolice, des entreprises et villes de France expérimentent illégalement la VSA. L’opportunité que représentent les JO 2024 permet de passer à l’étape suivant : légaliser ces technologies, d’abord pour un grand événement exceptionnel, ensuite pour les généraliser. C’est tout ce travail d’acceptabilité, de réception sociale par la population de ces technologies qui se joue avec les Jeux Olympiques

Les autres projets du ministère de l’intérieur : de la répression pour les habitant·es d’île-de-France

Un centre de renseignement olympique, prévu par la loi olympique de 2018, a été créé courant 2022, regroupant les services de renseignements. Son objectif : « En collaboration avec la police judiciaire, les agences de renseignement vont aussi maintenir la surveillance de tout individu suspect et de groupes qui pourraient représenter une menace pour la sécurité nationale et le bon déroulement des Jeux. » est-il écrit dans le dossier de candidature de la ville.

La menace terroriste est abondamment évoquée pour justifier le déploiement de tout cet arsenal sécuritaire. Darmanin parle des « terroristes islamistes, de l’ultra-droite et de l’ultra-gauche ». Et affirme que les renseignement feront un «  effort » en amont pour « maîtriser » ces personnes au moment des JO. Ce n’est pas sans rappeler la COP21 en 2015, où nombre de militants et militantes écolos s’étaient vus perquisitionnés, arrêtés pour certains et assignés à résidence peu avant le début de l’événement. A cette époque, le gouvernement avait profité de l’État d’Urgence pour mettre en place ces mesures répressives, depuis elles sont rentrées dans le droit commun.

Le ministre de l’Intérieur a par ailleurs annoncé lors de son audition au Sénat qu’il allait bientôt débuter un « plan zéro délinquance  » dont 3500 des 5500 opérations policières prévues se dérouleront en Île-de-France afin de « harceler et nettoyer la délinquance » dixit Darmanin. Comme c’est le cas lors de grands événements, l’État français en profite pour justifier un harcèlement des populations qui ont le malheur de vivre là où vont se dérouler les jeux…

L’enjeu de la sécurité privée pour les Jeux : polices partout

Dans cet article, le journaliste Thomas Jusquiame revient sur la naissance de la sécurité privée au XIXème siècle en France, où la police embauchait des mouchards, sorte d’auxiliaires de police chargés de les renseigner sur les agissements des malfrats parisiens. Et retrace l’institutionnalisation de cette sécurité privée jusqu’à aujourd’hui, où le Livre Blanc de la sécurité intérieure leur offre une consécration à travers le fameux concept de « continuum de la sécurité privée ». « Moralisée, intégrée, contrôlée, protégée, alimentée, organisée, la sécurité privée n’a jamais paru autant en harmonie avec les forces de répression régaliennes. » (ibid)

En ce qui concerne les JO, la peur d’un scénario similaire à celui du Royaume-Uni en 2012 plane. L’entreprise de sécurité privée mandatée par l’État les avait lâchés trois semaines avant le début des Jeux par manque d’agents et le gouvernement britannique avait dû recourir à l’armée. En France, à deux ans des JO et un an de la Coupe du monde de Rugby, les 25 000 à 30 000 agents de sécurité privée demandés par le COJO manquent toujours à l’appel.

La sécurité privée constitue donc un des grands enjeux de l’organisation de ces Jeux Olympiques. Se pose tout d’abord le problème du recrutement : le CNAPS (Conseil national des activités privées de sécurité) tente de rendre ce métier attractif, à travers des formations payées par l’État, des appels personnalisés de tous les chômeurs et chômeuses d’île-de-France pour les convaincre d’entreprendre une formation, un ciblage des étudiants et étudiantes (ils semblent être en demande de personnel « féminin » pour réaliser les fouilles). La peur d’un manque d’agents se fait sentir.

Parce qu’aux difficultés de recrutement s’ajoute celle de la « menace intérieure », c’est-à-dire de personnes qui souhaiteraient intégrer les forces de sécurité pour nuire. A ce titre le SNEAS (Service national des enquêtes administratives de sécurité) prévoit de réaliser pas moins d’un million d’enquêtes administrative en vue des JO, dont la grande majorité concerneront le recrutement d’agents de sécurité privé. Car le COJO a d’ores et déjà annoncé en septembre 2022 avoir refusé entre 100 et 200 personnes fichées S. Une bonne manière de se rendre compte du fichage massif de la population. Darmanin propose même que dans ce projet de loi olympique soit inscrit le fait que les agents de sécurité privée puissent être dotés de caméras piétons.

Les Jeux olympiques confirment la tendance à l’intégration de la sécurité privée en tant que force de police institutionnalisée et bras armé de l’État. L’augmentation de ses effectifs et de ses prérogatives en vue des jeux olympiques s’incarne dans la tendance du tout-sécuritaire de l’espace public.

Des expérimentations aux appels d’offre : le perfectionnement de la souveraineté technopolicière française

Afin d’être sûrs que les technologies employées pour les jeux olympiques de 2024 fonctionnent, les industriels réalisent des expérimentations lors de divers événements sportifs dont la Coupe du Monde de Rugby de 2023, qui sera une sorte de répétition générale. Certaines ont déjà eu lieu mais nombre d’entre elles devraient encore être testées avant la fin de l’année 2022. Elles ont été mises en œuvre par les entreprises ayant répondu aux Appels à Manifestation d’Intérêt (AMI) uivants : « Dans le cadre d’un programme d’expérimentation de technologies par les services de sécurité du ministère de l’Intérieur. Les solutions recherchées portent sur des moyens de commandement, la vidéo dite « intelligente », l’OSINT, la surveillance aéroportée ou encore la cybersécurité », le tout avec un budget de 21,5 millions d’euros, uniquement pour les tests. Au moins 80% de ces « solutions » seront françaises affirme fièrement le préfet Olivier de Mazières, délégué ministériel aux partenariats, aux stratégies et aux industries de sécurité (DPSIS) Déjà plus de 144 expérimentations ont été menées sur une cible finale de 180 expérimentations, et qu’elles ont mobilisé 131 sociétés identifiées comme françaises.
On pense à la reconnaissance faciale testée à Rolland Garros par Thalès, ou encore à la start-up Two-I qui avait voulu identifier les visages des personnes interdites de stade souhaitant rentrer au stade de Metz en 2020 et qui avait reçu un avertissement de la CNIL pour ce projet. Tout comme la coupe du monde au Qatar, le sport et ses supporters semblent être un terrain d’expérimentation privilégié de la technopolice. Coupe du monde où l’on retrouve des grands groupes français comme Thalès chargés de déployer des algorithmes de reconnaissance automatique de comportements anormaux…

Pour Paris 2024, des financements de la recherche, accordés aux expérimentations en amont puis aux tests grandeur nature lors des Jeux, permettent aux industriels de la technopolice de se perfectionner et de devenir plus compétitif au niveau international. Comme le montre Myrtille Picaud, les JO constituent une sorte de catalyseur pour structurer et renforcer la filière des industriels de la sécurité française. L’occasion est trop belle pour ces entreprises, que ce soit des multinationales comme Thalès ou des start-up comme Two-I ou XXII : le marché de la sécurité français leur est offert sur un plateau d’argent. Le champ est libre, du maintien de l’ordre et de la répression policière en France à la vente de ces armes technologiques à l’étranger.

Cette tendance au tout sécuritaire s’inscrit dans une augmentation sans vergogne de tous les budgets ayant trait à la sécurité, et aux technologies de surveillance. Tout comme le ministère de l’Intérieur voit son budget augmenter de pas moins de 15 milliards d’euros, l’inclinaison est similaire pour le budget sécurité des jeux olympiques. D’abord prévu à 182 millions d’euros, celui-ci est passé à 295 millions d’euros et risque de s’accroître encore. Pas de fin de l’abondance pour la surveillance et la répression !

Les JO 2024 apparaissent comme un accélérateur de surveillance et de tendances sécuritaires déjà présentes. Ils représentent une « occasion », un prétexte, comme bien d’autres méga-événements auparavant, afin de justifier le déploiement de mesures présentées comme exceptionnelles. Mais ces choix s’inscrivent en réalité dans une logique de long terme, destructrices de droits mais aussi de mode de vie, d’habitat, d’environnement, comme le démontre depuis plusieurs années maintenant le collectif Saccage 2024.
Ces derniers appellent à un rendez-vous le dimanche 11 décembre, devant le siège du COJO, la veille du conseil d’administration, pour « faire la fête » au Comité d’Organisation des JO et leur montrer notre désaccord autour d’un goûter. Plus d’info ici. Luttons contre les JO et le monde sécuritaire qu’ils amènent avec eux !

Déjà novembre et la fin de l’année ! Les illuminations de Noël qui scintillent ! Les factures d’électricité qui crépitent ! Enfin la course aux cadeaux de dernière minute ! Le vin chaud en plein air, tandis qu’il fait vingt-cinq degrés dehors ! Bref, c’est la saison des fêtes et de la fin du monde, et comme les joies n’arrivent jamais seules, c’est aussi la saison des campagnes de dons.

Vous êtes déjà énormément sollicité·es, on le sait bien, parce qu’on est comme vous et qu’on donne déjà aux associations qu’on aime (n’oubliez pas Framasoft, Nos Oignons ou Wikipédia par exemple et parmi tant d’autres !). Alors, pourquoi consacrer un peu de temps et d’argent à soutenir La Quadrature du Net ?

Pourquoi des dons ?

La Quadrature a besoin d’argent pour fonctionner : l’association compte 7 salarié·es, elle a un local à Paris, elle doit payer des billets de train et imprimer des affiches, tout cela a un coût. Et nous avons deux boulets aux pieds : d’un côté nous refusons de toucher des subventions publiques, pour des raisons d’indépendance évidentes (notre travail nous amène à critiquer et même à attaquer en justice les pouvoirs publics, tandis que la loi Séparatisme implique pour les associations subventionnées une forme de soumission croissante à l’État) ; de l’autre côté, le ministère des Finances nous a refusé le rescrit fiscal qui vous permettrait de déduire vos dons de vos impôts.
Nous touchons quelques subventions de deux fondations philanthropiques, pour moins de 20 % de nos ressources annuelles. Mais tout le reste vient de vous (c’est expliqué en détail ici).
Chaque année, nous devons donc convaincre assez de donateurs et de donatrices pour vivre une année de plus.

Des dons pour quoi faire ?

Si vous ne connaissez pas l’association et ses missions, vous tombez bien : venez par là, on vous a préparé des vidéos pour expliquer en quelques minutes ce qu’on fait. Vous verrez comment la criminalisation du partage, au moment de la loi Hadopi, a donné naissance à l’association en 2008. Vous comprendrez très vite pourquoi la « neutralité du net » est essentielle pour la fiabilité et la créativité du réseau Internet, et vous prendrez rapidement la mesure des problèmes posés par l’exploitation marchande de nos données personnelles. Ensuite, on vous racontera comment le numérique met, de façon concertée, sa formidable puissance au service de la censure, de la surveillance, du renseignement, et du contrôle de la population. De ce point de vue, la répression des joyeux partageurs de 2008 était un avant-goût de ce qui se déploie aujourd’hui partout, depuis le traçage de nos activités sur le web jusqu’à la surveillance serrée de nos déplacements dans les villes.

Quoi de neuf en 2023 ?

En mars prochain, La Quadrature du Net aura 15 ans. C’est jeune, mais c’est déjà assez pour regarder l’histoire : plusieurs de nos membres ont écrit un livre pour raconter ces quinze années d’engagement et montrer l’évolution naturelle de l’association dans ses moyens et dans ses sujets. Le livre est présenté ici et vous pouvez le commander en ligne. La suite de l’histoire, il nous revient de l’écrire ensemble.

Alors, en 2023, on fait quoi ?

On continue bien sûr de lutter contre Hadopi (ce machin est coriace). On reste sur le qui-vive pour défendre le principe de la neutralité des réseaux partout où l’industrie cherche à le contourner. On continue les actions juridiques, politiques et pratiques contre l’exploitation commerciale des données personnelles par les grands groupes privés qui mettent le web en silos, orientent nos navigations et les transforment en visite guidée publicitaire. Et plus que jamais, on se mobilise contre la transformation des outils numériques en engins de surveillance totale.

C’est sans doute notre dossier le plus important aujourd’hui, rassemblé sous la bannière de notre campagne Technopolice : comme le montrent le livre blanc de la sécurité intérieure de 2020 et le rapport publié en 2022 en annexe de la LOPMI, le ministre de l’Intérieur et le gouvernement sont bien décidés à transformer la police et les autres forces de sécurité, publiques et privées, en « cyberflics » du futur : capteurs, caméras portées, écran intégré au casque, fichiers et flux de données consultés à distance, vidéosurveillance automatisée par des algorithmes, reconnaissance faciale, micros « intelligents » dans les rues, drones… L’arsenal de la surveillance numérique est délirant, mais il attire les investissements par millions, et même la Coupe du Monde de Rugby de 2023 et les Jeux Olympiques de 2024 à Paris sont envisagés comme des vitrines et des laboratoires d’expérimentation pour l’industrie de la surveillance technologique totale « à la française ».

Mais la surveillance numérique, aussi diffuse et généralisée que la souplesse de l’outil le permet, prend aujourd’hui bien d’autres formes que la seule surveillance policière. Nous sommes en particulier très attentifs, depuis plusieurs mois, à la question des algorithmes que l’État utilise pour prendre des décisions administratives. Après une première approche des algorithmes de contrôle de la CAF, nous travaillerons cette année sur les autres applications de ces outils, qui sont l’application de politiques publiques discriminatoires et arbitraires, jamais débattues en public, et dont la place prééminente dans les services publics doit être combattue.

Parce que le monde numérisé grandit chaque jour en étendue et en complexité, parce que les dispositifs de contrôle et de surveillance entrent chaque année plus loin dans l’intimité de nos vies, soutenez l’association qui défend « nos droits et nos libertés à l’ère du numérique » : faites un don à La Quadrature du Net !

Merci et datalove <3

Communiqué de l’Observatoire des libertés et du numérique (OLN), Paris, le 28 octobre 2022.

La loi d’orientation et de programmation du ministère de l’Intérieur (la « LOPMI ») a été adoptée au Sénat et sera débattue à l’Assemblée nationale dans les prochaines semaines. Ce texte soulève de sérieuses inquiétudes pour les sujets touchant aux libertés fondamentales dans l’environnement numérique.

L’Observatoire des libertés et du numérique appelle les député·es à rejeter massivement ce texte.

1. Un rapport programmatique inquiétant promouvant une police cyborg

S’agissant d’une loi de programmation, est annexé au projet de texte un rapport sans valeur législative pour décrire les ambitions gouvernementales sur le long terme et même, selon Gérald Darmanin, fixer le cap du « réarmement du ministère de l’Intérieur ». Déjà, en soi, le recours à une sémantique tirée du registre militaire a de quoi inquiéter.  Véritable manifeste politique, ce rapport de 85 pages fait la promotion d’une vision fantasmée et effrayante du métier de policier, où l’agent-cyborg et la gadgétisation technologique sont présentés comme le moyen ultime de faire de la sécurité.

L’avenir serait donc à l’agent « augmenté » grâce à un « exosquelette » alliant tenue « intelligente » et équipements de surveillance. Nouvelles tablettes, nouvelles caméras piéton ou embarquées, promotion de l’exploitation des données par intelligence artificielle, sont tout autant d’outils répressifs et de surveillance que le rapport prévoit d’instaurer ou d’intensifier. Le ministère rêve même de casques de « réalité augmentée » permettant d’interroger des fichiers en intervention. C’est le rêve d’un policier-robot qui serait une sorte de caméra mobile capable de traiter automatiquement un maximum d’information. Ce projet de robotisation aura pour premier effet de rendre plus difficile la communication entre les forces de l’ordre et la population.

Cette projection délirante se poursuit sur d’autres thématiques sécuritaires. Le ministère affiche par exemple la volonté de créer des « frontières connectées » avec contrôles biométriques, drones ou capteurs thermiques. Il confirme également son obsession toujours plus grande de la vidéosurveillance en appelant à en tripler le budget à travers les subventions étatiques du fonds interministériel de prévention de la délinquance (FIPD), malgré l’inutilité démontrée et le coût immense de ces équipements.

Qu’il s’agisse de délire sécuritaire ou de calcul électoraliste, le rapport livre une vision inquiétante du numérique et de la notion de sécurité. Malgré son absence de portée normative, pour le message qu’il porte, l’OLN appelle donc les député·es à voter la suppression de ce rapport et l’article 1 dans son entièreté.

2. Un affaiblissement du cadre procédural des enquêtes policières

Ensuite, le fond des dispositions est guidé par un objectif clair : supprimer tout ce que la procédure pénale compte de garanties contre l’autonomie de la police pour faciliter le métier du policier « du futur ». La LOPMI envisage la procédure pénale uniquement comme une lourdeur administrative inutile et inefficace, détachée du « cœur de métier » du policier, alors qu’il s’agit de règles pensées et construites pour protéger les personnes contre l’arbitraire de l’État et renforcer la qualité des procédures soumises à la justice. On peut d’ailleurs s’étonner que le texte soit principalement porté par le ministère de l’Intérieur alors qu’il s’agit en réalité d’une refonte importante de la procédure pénale semblant plus relever de l’organisation judiciaire.

De manière générale, l’esprit du texte est assumé : banaliser des opérations de surveillance en les rendant accessibles à des agents moins spécialisés et en les soustrayant au contrôle de l’autorité judiciaire. Le texte permet ainsi à de nouvelles personnes (des assistants d’enquête créés par le texte ou des officiers de police judiciaire qui auraient plus facilement accès à ce statut) de faire de nombreux actes d’enquête par essence intrusifs et attentatoires aux libertés.

Par exemple, l’article 11 prévoit que les officiers de police judiciaire peuvent procéder directement à des « constatations et examens techniques » et à l’ouverture des scellés sans réquisition du procureur. Complété par des amendements au Sénat, cet article facilite désormais encore plus les interconnexions et accès aux fichiers policiers (notamment la collecte de photographie et l’utilisation de la reconnaissance faciale dans le fichier TAJ ainsi que l’analyse de l’ADN dans le FNAEG), contribuant à faire davantage tomber les barrières pour transformer le fichage massif en un outil de plus en plus effectif de contrôle des populations.

Ensuite, l’article 12 conduit en pratique à une présomption d’habilitation à consulter des fichiers pendant une enquête ou une instruction. Sous couvert d’une protection contre les nullités de procédure, cette simplification soustrait les policiers à toute contrainte formelle et supprimerait une garantie fondamentale de protection du droit à la vie privée. Cette disposition permettrait un accès total aux fichiers et viderait par ailleurs de leur substance l’ensemble des textes existants visant à limiter l’accès (pourtant déjà très souple), pour chaque fichier, à une liste de personnes habilitées et déterminées. On assiste ainsi à un « effet cliquet »: après avoir multiplié les fichages en prétextant des garanties, on vient ensuite en faciliter les accès et les interconnexions.

3.  L’amende forfaitaire délictuelle : une utilisation du numérique contre les justiciables

Par cette dynamique, le gouvernement fait passer la répression et la surveillance comme l’outil principal du travail policier et affaiblit considérablement le socle de protection de la procédure pénale.

Le projet d’étendre encore un peu plus le champ d’application de l’amende forfaitaire délictuelle (AFD) en est l’une des illustrations les plus éloquentes : cette procédure — dont l’efficacité prétendue n’est mesurée qu’à l’aune du nombre d’amendes prononcées et à la rapidité de la sanction — repose sur un usage de l’outil numérique permettant d’industrialiser et automatiser le fonctionnement de la justice pénale en affaiblissant les garanties contre l’arbitraire, en entravant le débat contradictoire, et en transformant l’autorité judiciaire en simple « contrôleur qualité ». 

Les forces de l’ordre sont ainsi transformés en « radars mobiles » de multiples infractions, le tout sans véritable contrôle judiciaire et en multipliant les obstacles à la contestation pour la personne sanctionnée.

L’évolution vers cette justice-là n’est pas un progrès pour notre société.

Ce projet, s’il est adopté, porterait une atteinte sérieuse au nécessaire équilibre qui doit exister entre, d’une part, la protection des libertés individuelles et collectives et, d’autre part, l’action des policiers. Les député·es doivent donc rejeter ce texte qui affaiblit le contrôle nécessaire de l’activité policière et met en danger les équilibres institutionnels qui fondent la démocratie.

Organisations signataires membres de l’OLN : Le CECIL, Creis-Terminal, Globenet,La Quadrature du Net (LQDN), Le Syndicat des Avocats de France (SAF), le Syndicat de la Magistrature (SM).

Depuis bientôt un an nous luttons au sein du collectif « Stop Contrôles »¹Il est possible de contacter le collectif « Stop Contrôles » à l’adresse suivante: stop.controles@protonmail.com pour des récits ou des problématiques actuelles face au contrôles de la CAF ou de Pôle emploi, mais également pour trouver des manières collectives de s’y opposer.afin de s’opposer aux effets de la dématérialisation et de l’utilisation du numérique par les administrations à des fins de contrôle social. Après avoir abordé la situation à Pôle Emploi, nous nous intéressons ici au cas des Caisses d’Allocations Familiales (CAF). Nous reviendrons bientôt sur les suites de cette lutte dans laquelle nous souhaitons pleinement nous engager dans les prochains mois.

« Entre la CAF et vous, il n’y a qu’un clic ». Voilà ce que l’on pouvait lire sur une affiche de la CAF en ce début d’année. Et le sous-titre laisse rêveur : « Accédez à tous les services de la CAF 24h/24 ». Vaine promesse d’un numérique facilitant l’accès aux prestations sociales, et ce, à toute heure du jour et de la nuit. Sinistre slogan masquant la réalité d’une informatisation à outrance, vecteur d’une exclusion sociale calculée.

Alors que la généralisation des démarches en ligne s’accompagne avant tout d’une réduction des capacités d’accueil physique, mode de contact pourtant essentiel pour les personnes en situation de précarité²Voir le rapport du Défenseur des Droits « Dématérialisation des services publics: 3 ans après », disponible ici et l’appel signé par 300 associations/collectifs sur les difficultés engendrées pour les publics en situation de précarité disponible ici., c’est à un algorithme que la CAF laisse le soin de prédire quel·les allocataires seraient « (in)dignes » de confiance et doivent être contrôlé·es³Voir l’avis de la CNIL décrivant l’algorithme comme un « outil permettant de détecter dans les dossiers des allocataires les corrélations existantes entre les dossiers à risque (comportements types des fraudeurs)», disponible ici. Cet avis, positif, est par ailleurs vertigineusement vide de toute critiques portant tant sur le fond du projet et les risques de discrimination qu’il porte que sur le détournement des finalités des données des allocataires collectées initialement pour les besoins de l’état social. Il se borne globalement à recommander un chiffrement de la base de données.. Chargé de donner une note à chaque allocataire, censé représenter le « risque » qu’iel bénéficie indûment d’aides sociales, cet algorithme de scoring sert une politique de harcèlement institutionnel des plus précaires⁴Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.. 

L’algorithme de la honte

Nourri des centaines de données dont la CAF dispose sur chaque allocataire⁵Pour des détails techniques sur l’algorithme et son entraînement voir l’article de Pierre Collinet « Le datamining dans les caf: une réalité, des perspectives », écrit en 2013 et disponible ici. Il y explique notamment que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude., l’algorithme évalue en continu leur situation afin de les classer, les trier, via l’attribution d’une note (« score de risque »). Cette note, mise à jour mensuellement, est ensuite utilisée par les équipes de contrôleurs·ses de la CAF pour sélectionner celles et ceux devant faire l’objet d’un contrôle approfondi⁶Les contrôles à la CAF sont de trois types. Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle..), organisés via à l’interconnexion des fichiers administratifs (impôts, pôle emploi…). Ce sont de loin les plus nombreux. Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire. Enfin les contrôles sur place sont les moins nombreux mais les plus intrusifs. Réalisé par un.e contrôleur.se de la CAF, ils consistent en un contrôle approfondi de la situation de l’allocataire. Ce sont ces derniers qui sont aujourd’hui en très grande majorité déclenchés par l’algorithme suite à une dégradation de la note d’un allocataire (Voir Vincent Dubois, « Contrôler les assistés » p.258). Il est à noter que les contrôles sur place peuvent aussi provenir de signalements (police, pôle emploi, conseiller.ère.s…) ou de la définition de cibles-types définies soit localement soit nationalement(contrôles RSA, étudiants…). Ces deux catégories représentaient la plupart des raisons de déclenchement des contrôles avant le recours à l’algorithme..

Les quelques informations disponibles révèlent que l’algorithme discrimine délibérément les précarisé·e·s. Ainsi, parmi les éléments que l’algorithme associe à un risque élevé d’abus, et impactant donc négativement la note d’un·e allocataire, on trouve le fait⁷La CAF entretient une forte opacité autour des critères régissant son fonctionnement. Elle refuse même de donner plus d’informations aux allocataires ayant fait l’objet d’un contrôle suite à une dégradation de leur score. ll n’existe pas de documents présentant l’ensemble des paramètres, et leur pondération, utilisés par l’algorithme dit de « régression logistique ». Les informations présentées ici sont issues des sources suivantes: l’avis de la CNIL portant sur l’algorithme; le livre de Vincent Dubois « Contrôler les assistés »; la Lettre n°23 de la Délégation Nationale à la lutte contre la fraude disponible ici (voir pages 9 à 12); le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. L’article de Pierre Collinet « Le datamining dans les caf: une réalité, des perspectives », disponible ici détaille notamment la construction de l’algorithme. : 

– D’avoir des revenus faibles,

– D’être au chômage ou de ne pas avoir de travail stable,

– D’être un parent isolé (80% des parents isolés sont des femmes)⁸Voir la note de l’Insee disponible ici., 

– De dédier une part importante de ses revenus pour se loger,

– D’avoir de nombreux contacts avec la CAF (pour celleux qui oseraient demander de l’aide).

D’autres paramètres comme le lieu de résidence, le type de logement (social…), le mode de contact avec la CAF (téléphone, mail…) ou le fait d’être né·e hors de l’Union Européenne sont utilisés sans que l’on ne sache précisément comment ils affectent cette note⁹Sur l’utilisation de la nationalité comme facteur de risque, voir le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. Y est cité une circulaire interne de la CAF (n°2012-142 du 31 août 2012) recommandant notamment de « cibl[er] les personnes nées hors de l’Union européenne ». Le rôle de la DNLF dans le développement des outils de scoring y est aussi mentionné.. Mais il est facile d’imaginer le sort réservé à une personne étrangère vivant en banlieue défavorisée. C’est ainsi que, depuis 2011, la CAF organise une véritable chasse numérique aux plus défavorisé·e·s, dont la conséquence est un sur-contrôle massif des personnes pauvres, étrangères et des femmes élevant seules un enfant¹⁰Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la ‘lutte contre l’assistanat’, et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.. 

Pire, la CAF s’en vante. Son directeur qualifie cet algorithme comme étant partie prenante d’une « politique constante et volontariste de modernisation des outils de lutte contre les fraudeurs et les escrocs ». L’institution, et son algorithme, sont par ailleurs régulièrement présentés au niveau étatique comme un modèle à suivre dans la lutte contre la « fraude sociale », thématique imposée par la droite et l’extrême droite au début des années 2000¹¹Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la ‘lutte contre l’assistanat’, et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250..

Comment un dispositif si profondément discriminatoire peut-il être publiquement défendu, qui plus est par une administration sociale ? C’est ici que l’informatisation du contrôle social revêt un caractère particulièrement dangereux, à travers l’alibi technique qu’il offre aux responsables politiques.

Un alibi technique à une politique inique

L’utilisation de l’algorithme permet tout d’abord à la CAF de masquer la réalité sociale du tri organisé par sa politique de contrôle. Exit les références au ciblage des allocataires de minima sociaux dans les  « plans annuels de contrôle ». Ces derniers font désormais état de « cibles datamining », sans que jamais ne soient explicités les critères associés au calcul des « scores de risques ». Comme le dit un contrôleur de la CAF :  « Aujourd’hui c’est vrai que le data nous facilite les choses. Je n’ai pas à dire que je vais sélectionner 500 bénéficiaires RSA. C’est pas moi qui le fais, c’est le système qui le dit ! (Rires). »¹²Ces citations sont tirées du rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil. Concernant l’extension du droit de communication, voir pages 53-54.  

La notion de « score de risque » est par ailleurs mobilisée pour individualiser le processus de ciblage et nier son caractère discriminatoire. Un responsable du contrôle de la CAF déclarait ainsi devant des député·es que « Plus que de populations à risque, nous parlons de profils d’allocataires à risque, en lien avec le data mining »¹³Voir le rapport « Lutter contre les fraudes aux prestations sociales » disponible ici et surtout le compte rendu des audiences menées dans ce cadre disponible ici. On notera en particulier à la page 85 la retranscription de l’échange avec des employé.e.s des services sociaux de Meurthe et Moselle témoignant de la difficulté dans laquelle les politiques de contrôles mettent les allocataires. Sur un tout autre registre, la première audition est celle d’un autoproclamé ‘expert de la lutte contre la fraude’. Particulièrement dure à lire tant ce personnage manque d’humanité, elle est cependant très instructive sur la façon de penser de celleux qui prônent le contrôle social envers et contre tout.. En d’autres termes, la CAF avance que son algorithme ne vise pas les pauvres en tant que catégorie sociale mais en tant qu’individus. Une grande partie des « facteurs de risques » utilisés pour cibler les allocataires sont pourtant des critères sociodémographiques associés à des situations de précarité (faibles revenus, situation professionnelle instable…). Ce jeu rhétorique est donc un non-sens statistique comme le rappelle le Défenseur des Droits¹⁴Sur l’utilisation de la nationalité comme facteur de risque, voir le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. Y est cité une circulaire interne de la CAF (n°2012-142 du 31 août 2012) recommandant notamment de « cibl[er] les personnes nées hors de l’Union européenne ». Le rôle de la DNLF dans le développement des outils de scoring y est aussi mentionné. : « Plus qu’un ciblage sur des « risques présumés », la pratique du data mining contraint à désigner des populations à risque et, ce faisant, conduit à instiller l’idée selon laquelle certaines catégories d’usagers seraient plus enclines à frauder ». 

Enfin, le recours à l’algorithme est utilisé par les dirigeant·es de la CAF pour se défausser de la responsabilité du choix des critères de ciblage des personnes à contrôler. Ielles transforment ce choix en un problème purement technique (prédire quels sont les dossiers les plus susceptibles de présenter des irrégularités) dont la résolution relève de la responsabilité des équipes de statisticien·nes de l’institution. Seule compte alors l’efficacité de la solution proposée (la qualité de la prédiction), le fonctionnement interne de l’algorithme (les critères de ciblage) devenant un simple détail technique ne concernant pas les responsables politiques¹⁵ L’algorithme utilisé, une régression logistique, est un algorithme dit à apprentissage supervisé. A l’image des algorithmes d’analyses d’images, ces algorithmes ‘apprennent’ à détecter certaines choses à partir d’exemples annotés. Ainsi un algorithme de reconnaissance de chats sur des images est, pour le dire schématiquement, simplement entraîné via l’analyse de nombreuses photos annotées chat/pas chat. La tâche de l’algorithme, on parle de phase d’apprentissage, est alors de construire un modèle statistique permettant de reconnaître dans le futur des photos de chat, sans que nul n’ait besoin d’expliciter, à priori, les critères permettant de les identifier. Le recours à un tel algorithme pour la CAF offre donc l’avantage, purement rhétorique, que les critères de ciblage (situation professionnelle, familiale, financière…) semblent ne plus être choisis à priori par la CAF (Voir Vincent Dubois, « Contrôler les assistés » cité précedemment) mais le fruit d’une analyse statistique (corrélations entre ces variables et la probabilité qu’un dossier soit irrégulier).. Un directeur de la CAF peut ainsi dire publiquement: « Nous [la CAF] ne dressons pas le profil type du fraudeur. Avec le datamining, nous ne tirons pas de conclusions », omettant simplement de dire que la CAF délègue cette tâche à son algorithme. 

Un sur-contrôle anticipé des plus précaires

Voilà ce que nous souhaitons répondre aux responsables qui nient le caractère politique de cet algorithme : l’algorithme n’a appris à détecter que ce que vous avez décidé de cibler. Le sur-contrôle des plus précaires n’est ni un hasard, ni le résultat inattendu de complexes opérations statistiques. Il résulte d’un choix politique dont vous connaissiez, avant même le déploiement de l’algorithme, les conséquences pour les précarisé·es.

Ce choix est le suivant¹⁶Pour des détails techniques sur l’algorithme et son entraînement voir l’article de Pierre Collinet « Le datamining dans les caf: une réalité, des perspectives », écrit en 2013 et disponible ici. Il y explique notamment que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude.. Malgré la communication de la CAF autour de son nouvel outil de « lutte contre la fraude » (voir par exemple ici, ici ou ici), l’algorithme a été conçu non pas pour détecter la fraude, qui revêt un caractère intentionnel, mais les indus (trop-perçus) au sens large¹⁷Il semblerait qu’initialement l’algorithme ait été entraîné sur des dossiers de fraudes avérées, mais qu’il a été très vite décidé de l’utiliser pour détecter les indus au sens large (indépendamment de l’établissement d’un caractère frauduleux). Un ancien directeur du service « contrôle et lutte contre la fraude » déclarait ainsi en 2010: « Nous sommes en train de tester dans dix-sept organismes des modèles plus perfectionnés, mais fondés sur l’observation des indus et non sur celle des indus frauduleux. » devant la commission des affaires sociales de l’assemblée nationale (voir ici)., dont la très grande majorité résulte d’erreurs déclaratives involontaires¹⁸Une directrice du département Maitrise des Risques Lutte contre la Fraude déclarait ainsi dans le cadre d’une mission gouvernementale sur la fraude aux prestations sociales en 2019: « 80 % de nos indus sont liés à des erreurs sur les ressources et les situations professionnelles, majoritairement les ressources »..

Or la CAF savait que le risque d’erreurs est particulièrement élevé pour les personnes en situation de précarité, en raison de la complexité des règles de calcul des prestations sociales les concernant. Ainsi dès 2006¹⁹Ces citations et appréciations sur la part des fraudes dans les indus sont extraits de trois articles écrits par un ancien directeur du service « contrôle et lutte contre la fraude » de la CNAF. Le premier « Du contrôle des pauvres à la maîtrise des risques » a été publié en 2006 et est disponible ici. Le second intitulé « Le contrôle de la fraude dans les CAF », publié en 2005, est disponible ici. Voir aussi un troisième article intitulé « Le paiement à bon droit des prestations sociales des CAF » publié en 2013 et disponible ici. On trouve des analyses similaires dans des articles publiés dès 1997 disponibles ici (1997) et là (2002)., un ancien directeur de la lutte contre la fraude de la CAF expliquait que « les indus s’expliquent […] par la complexité des prestations », ce qui est « d’autant plus vrai pour les prestations liées à la précarité » (entendre les minima sociaux). Il ajoutait que ceci est dû à la prise en compte « de nombreux éléments de la situation de l’usager très variables dans le temps, et donc très instables ». Concernant les femmes isolées, il reconnaissait déjà la « difficulté d’appréhender la notion de « vie maritale » », difficulté à son tour génératrice d’erreurs.

Demander à l’algorithme de prédire le risque d’indu revient donc à lui demander d’apprendre à identifier qui, parmi les allocataires, est tributaire des minima sociaux ou est victime de la conjugalisation²⁰Le fait d’avoir des aides qui dépendent de la situation maritale (en couple/célibataire). des aides sociales. Autrement dit, les responsables de la CAF savaient, dès le début du chantier d’automatisation du ciblage, quels seraient les « profils à risque » que l’algorithme allait identifier. 

Rien n’est donc plus faux que de déclarer, comme cette institution l’a fait en réponse aux critiques du Défenseur des Droits, que « les contrôles à réaliser » sont « sélectionnés par un algorithme neutre » qui n’obéit à « aucun présupposé »²¹La deuxième citation est extraite d’une intervention d’un ancien directeur de la CNAF devant la commission des affaires sociales du sénat en 2017 disponible ici.. Ou encore que « les contrôles […] issus du datamining […] ne laissent pas la place à l’arbitraire ». 

Discriminer pour rentabiliser

Pourquoi favoriser la détection d’erreurs plutôt que celle de la fraude ? Les erreurs étant plus nombreuses et plus faciles à détecter que des situations de fraudes, qui nécessitent l’établissement d’un caractère intentionnel, ceci permet de maximiser les montants récupérés auprès des allocataires et d’augmenter ainsi le « rendement » des contrôles. 

Pour citer une ancienne responsable du département de lutte contre la fraude de la CAF : « Nous CAF, très honnêtement, sur ces très grosses fraudes, nous ne pouvons pas être le chef de file parce que les enjeux nous dépassent, en quelque sorte ». Et de signaler un peu plus loin sa satisfaction à ce que dans la dernière « convention d’objectif et de gestion », contrat liant la CAF à l’État et définissant un certain nombre d’objectifs,²²Les COG sont des contrats entre l’état de les administrations sociales qui « formalisent, dans un document contractuel, les objectifs à atteindre et les moyens à mettre en œuvre pour moderniser et améliorer la performance du système de protection sociale ». Voir par exemple la COG 2018-2022 de la CNAF disponible ici. Pour un peu plus d’horreur, on peut aussi consulter les annexes techniques de ces conventions qui incluent pour la détermination du montant financier des agents de la CAF des objectifs de recouvrement des indus. L’annexe 2021 pour la branche famille est par exemple disponible ici. existe une « distinction entre le taux de recouvrement des indus fraude et des indus non- fraude […] parce que l’efficacité est quand même plus importante sur les indus non-fraudes qui, par définition, sont de moindre importance ».  

Cet algorithme n’est donc qu’un outil servant à augmenter la rentabilité des contrôles réalisés par la CAF afin d’alimenter une politique de communication où, à longueur de rapports d’activité et de communications publiques, le harcèlement des plus précaires devient une preuve de  « bonne gestion » de l’institution²³Comme ici où il est écrit « Pour 1€ engagé, le travail d’un contrôleur rapporte 8 fois plus« . Voir aussi ici ou là.. 

Déshumanisation et mise à nu numérique

Mais le numérique a aussi modifié en profondeur le contrôle lui-même, désormais tourné vers l’analyse des données personnelles des allocataires, dont le droit d’accès donné aux contrôleurs·ses est devenu tentaculaire. Accès aux comptes bancaires, données détenues par les fournisseurs d’énergie, les opérateurs de téléphone, les employeurs·ses, les commerçant·e·s et bien sûr les autres institutions (Pôle emploi, les impôts, les caisses nationales de la sécurité sociale…)²⁴Ces citations sont tirées du rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil. Concernant l’extension du droit de communication, voir pages 53-54.: le contrôle s’est transformé en une véritable mise à nu numérique.

Ces milliers de traces numériques sont mobilisées pour nourrir un contrôle où la charge de la preuve est inversée. Bien plus que l’entretien, les données personnelles constituent désormais la base du jugement des contrôleurs·ses. Comme le dit un contrôleur de la CAF : « Avant, l’entretien, c’était hyper important. […] Maintenant le contrôle des informations en amont de l’entretien prend beaucoup plus d’importance. »²⁵Ces citations sont tirées du rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil. Concernant l’extension du droit de communication, voir pages 53-54.. Ou encore, « un contrôleur quand il prépare son dossier, juste en allant voir les portails partenaires, avant de rencontrer l’allocataire, il a une très bonne idée de ce qu’il va pouvoir trouver ». 

Refuser de se soumettre à cette transparence est interdit sous peine de suspension des allocations. Le « droit au silence numérique » n’existe pas :  l’opposition à une transparence totale est assimilée à de l’obstruction. Et pour les plus réticent·es, la CAF se réserve le droit de demander ces informations directement auprès des tiers qui les détiennent. 

Le contrôle devient alors une séance d’humiliation où chacun.e doit accepter de justifier le moindre détail de sa vie, comme en témoigne cet allocataire : « L’entretien […] avec l’agent de la CAF a été une humiliation. Il avait sous les yeux mes comptes bancaires et épluchait chaque ligne. Avais-je vraiment besoin d’un abonnement Internet ? À quoi avais-je dépensé ces 20 euros tirés en liquide ? »²⁶Voir à ce sujet l’article de Lucie Inland disponible ici, cet article du Monde et le rapport du Défenseur des Droits «La lutte contre la fraude aux prestations sociales» disponible ici. La fondation Abbé Pierre, le Défenseur des droits et le collectif Changer de Cap ont par ailleurs collecté de nombreux témoignages décrivant la violence vécue par les allocataires lors des contrôles. Difficulté de recours, contrôles répétés, suspension automatique des prestations sociales, intrusion sans précédent dans les moindres recoins de la vie privée. Nous vous invitons à lire l’ensemble de ces témoignages disponibles ici..

La note attribuée par l’algorithme agit tout particulièrement comme une preuve de culpabilité. Contrairement à ce que veut faire croire la CAF, qui rappelle à qui veut l’entendre que l’algorithme n’est qu’un « outil d’aide à la décision », un score de risque dégradé génère suspicion et sévérité lors des contrôles. C’est à l’allocataire qu’il appartient de répondre du jugement algorithmique. De prouver que l’algorithme a tort. Cette influence de la notation algorithmique sur les équipes de contrôle, fait reconnu et désigné sous le nom de « biais d’automatisation », est ici encore mieux expliquée par un contrôleur : « Compte-tenu du fait qu’on va contrôler une situation fortement scorée, certains me disaient que, bon voilà, y a une sorte de – même inconsciemment – non pas d’obligation de résultats mais de se dire : si je suis là, c’est qu’il y a quelque chose donc il faut que je trouve »²⁷Ces citations sont tirées du rapport « Politique de contrôle et lutte contre la fraude dans la branche Famille » publié en 2016 et écrit par Vincent Dubois, Morgane Paris et Pierre Edouard Weil. Concernant l’extension du droit de communication, voir pages 53-54.. 

Des conséquences humaines dramatiques

Ces pratiques sont d’autant plus révoltantes que les conséquences humaines peuvent être très lourdes. Détresse psychologique, perte de logements, dépressions²⁸Voir à ce sujet l’article de Lucie Inland disponible ici, cet article du Monde et le rapport du Défenseur des Droits «La lutte contre la fraude aux prestations sociales» disponible ici. La fondation Abbé Pierre, le Défenseur des droits et le collectif Changer de Cap ont par ailleurs collecté de nombreux témoignages décrivant la violence vécue par les allocataires lors des contrôles. Difficulté de recours, contrôles répétés, suspension automatique des prestations sociales, intrusion sans précédent dans les moindres recoins de la vie privée. Nous vous invitons à lire l’ensemble de ces témoignages disponibles ici.: le contrôle laisse des traces non négligeables dans la vie de tous les contrôlé·e·s. Comme l’explique un directeur de l’action sociale²⁹Voir le rapport « Lutter contre les fraudes aux prestations sociales » disponible ici et surtout le compte rendu des audiences menées dans ce cadre disponible ici. On notera en particulier à la page 85 la retranscription de l’échange avec des employé.e.s des services sociaux de Meurthe et Moselle témoignant de la difficulté dans laquelle les politiques de contrôles mettent les allocataires. Sur un tout autre registre, la première audition est celle d’un autoproclamé « expert de la lutte contre la fraude ». Particulièrement dure à lire tant ce personnage manque d’humanité, elle est cependant très instructive sur la façon de penser de celleux qui prônent le contrôle social envers et contre tout. : « Il faut bien s’imaginer que l’indu c’est presque pire que le non recours ». Et d’ajouter : « Vous êtes dans un mécanisme de récupération d’indus et d’administrations qui peuvent décider aussi de vous couper l’ensemble de l’accès aux prestations sociales pendant une période de six mois. Vraiment, vous vous retrouvez dans une situation noire, c’est-à-dire que vous avez fait une erreur mais vous la payez extrêmement chèrement et c’est là que commence une situation de dégradation extrêmement forte qui est très difficile derrière à récupérer ». 

Les demandes de remboursement d’indus peuvent représenter une charge intenable pour les personnes en difficulté financière, en particulier lorsqu’elles sont dues à des erreurs ou des oublis qui couvrent une longue période. À ceci s’ajoute le fait que les trop-perçus peuvent être récupérés via des retenues sur l’ensemble des prestations sociales. 

Pire, les nombreux témoignages³⁰Voir à ce sujet l’article de Lucie Inland disponible ici, cet article du Monde et le rapport du Défenseur des Droits «La lutte contre la fraude aux prestations sociales» disponible ici. La fondation Abbé Pierre, le Défenseur des droits et le collectif Changer de Cap ont par ailleurs collecté de nombreux témoignages décrivant la violence vécue par les allocataires lors des contrôles. Difficulté de recours, contrôles répétés, suspension automatique des prestations sociales, intrusion sans précédent dans les moindres recoins de la vie privée. Nous vous invitons à lire l’ensemble de ces témoignages disponibles ici.récoltés par le Défenseur des Droits et les collectifs Stop contrôle et Changer de Cap font état de nombreuses pratiques illégales de la part de la CAF (non respect du contradictoire, difficulté de recours, suspension abusive des aides, non fourniture du rapport d’enquete, non accès aux constats) et de re-qualifications abusives de situations d’erreurs involontaires en fraude. Ces qualifications abusives aboutissent alors au fichage des allocataires identifiés comme fraudeurs·ses³¹Voir la délibération de la CNIL datant du 13 janvier 2011 et disponible ici. Il n’est pas certain que ce fichier existe toujours., fichage renforçant à son tour leur stigmatisation lors de futures interactions avec la CAF et dont les conséquences peuvent s’étendre au-delà de cette institution si cette information est transférée à d’autres administrations.

Numérique, bureaucratie et contrôle social

Certes les technologies numériques ne sont pas la cause profonde des pratiques de la CAF. Versant « social » du contrôle numérique de l’espace public par l’institution policière que nous documentons dans notre campagne Technopolice, elles sont le reflet de politiques centrées autour de logiques de tri, de surveillance et d’administration généralisée de nos vies³²Pour poursuivre au sujet du rôle du numérique et du contrôle social qu’il engendre dans un contexte de gestion de masse des sociétés, voir notamment l’article de Felix Tréguer « Face à l’automatisation des bureaucraties d’État, l’accommodement ou le refus ? » disponible ici et le livre du groupe Marcuse « La liberté dans le Coma ».. 

La pratique du scoring que nous dénonçons à la CAF n’est d’ailleurs pas spécifique à cette institution. Pionnière, la CAF a été la première administration sociale à mettre en place un tel algorithme, elle est désormais devenue le « bon élève », pour reprendre les dires d’une députée LREM³³Voir le rapport « Lutter contre les fraudes aux prestations sociales » disponible ici et surtout le compte rendu des audiences menées dans ce cadre disponible ici. On notera en particulier à la page 85 la retranscription de l’échange avec des employé.e.s des services sociaux de Meurthe et Moselle témoignant de la difficulté dans laquelle les politiques de contrôles mettent les allocataires. Sur un tout autre registre, la première audition est celle d’un autoproclamé ‘expert de la lutte contre la fraude’. Particulièrement dure à lire tant ce personnage manque d’humanité, elle est cependant très instructive sur la façon de penser de celleux qui prônent le contrôle social envers et contre tout., dont doivent s’inspirer les autres administrations. Aujourd’hui ce sont ainsi Pôle emploi, l’assurance maladie, l’assurance vieillesse ou encore les impôts qui, sous l’impulsion de la Cour des comptes et de la Délégation nationale à la lutte contre la fraude³⁴Sur l’utilisation de la nationalité comme facteur de risque, voir le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. Y est cité une circulaire interne de la CAF (n°2012-142 du 31 août 2012) recommandant notamment de « cibl[er] les personnes nées hors de l’Union européenne ». Le rôle de la DNLF dans le développement des outils de scoring y est aussi mentionné., travaillent à développer leurs propres algorithmes de notation.

À l’heure où, comme le dit Vincent Dubois³⁵Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la ‘lutte contre l’assistanat’, et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250., notre système social tend vers toujours « moins de droits sociaux accordés inconditionnellement […] et davantage d’aides […] conditionnées aux situations individuelles », ce qui appelle « logiquement plus de contrôle », il apparaît légitime de questionner les grands projets d’automatisation d’aide sociale, tel que celui de la « solidarité à la source » proposé par le président de la République. Car cette automatisation ne peut se faire qu’au prix d’une scrutation toujours accrue de la population et nécessitera la mise en place d’infrastructures numériques qui, à leur tour, conféreront toujours plus de pouvoir à l’État et ses administrations.

Lutter

Face à ce constat, nous demandons que soit mis un terme à l’utilisation de l’algorithme de scoring par la CAF. La recherche d’indus, dont la très grande majorité sont de l’ordre de quelques centaines d’euros³⁶Voir le rapport de l’IGF sur les indus disponible ici., ne peut en aucun cas justifier de telles pratiques qui, par nature, ont pour effet de jeter des personnes précarisées dans des situations d’immense détresse.

À la remarque d’un directeur de la CAF avançant qu’il ne pouvait pas « répondre de manière précise quant aux biais » que pourraient contenir son algorithme — sous-entendant ainsi que l’algorithme pourrait être amélioré —, nous répondons que le problème n’est pas technique, mais politique³⁷Les « biais » des algorithmes sont souvent mis en avant comme étant un simple problème technique, comme dans le cas des algorithmes de reconnaissance faciale qui reconnaissent mieux les personnes blanches. Le problème de cette critique, bien réelle au demeurant, est qu’elle élude parfois l’aspect politique des algorithmes en ramenant la problématique à des considérations techniques qu’il serait possible de corriger un jour. Cet algorithme est intéressant de ce point de vue puisqu’il a été entraîné ‘dans les règles de l’art’, voir les références ci-dessus, à partir d’une base de données issue de contrôles aléatoires. Il n’y a donc pas à priori de biais d’échantillonage, comme dans le cas des algorithmes de reconnaissance faciale. Ceci étant dit, l’algorithme répète les biais humains liés au contrôles réalisés sur ces dossiers sélectionnés aléatoirement (sévérité avec les personnes aux minima sociaux, difficulté d’identifier les fraudes complexes…). Mais il reflète surtout, comme expliqué dans l’article, la complexité des règles d’accès aux prestations sociales ce qui est un sujet purement politique que l’algorithme ne fait que révéler.. Puisqu’il ne peut tout simplement pas exister sans induire des pratiques de contrôle discriminatoires, c’est l’algorithme de notation lui-même qui doit être abandonné.

Nous reviendrons bientôt sur les actions que nous souhaitons mener pour lutter, à notre niveau, contre ces politiques. D’ici là, nous continuerons à documenter l’usage des algorithmes de scoring dans l’ensemble des administrations françaises et invitons celles et ceux qui le souhaitent, et le peuvent, à s’organiser et se mobiliser localement, à l’image de la campagne Technopolice qu’anime La Quadrature. A Paris, vous pouvez nous retrouver et venir discuter de cette lutte dans le cadre des assemblées générales du collectif Stop Contrôles, dont nous relayons les communiqués via notre site internet.

Cette lutte ne peut que profiter des échanges avec celles et ceux qui, à la CAF ou ailleurs, ont des informations sur cet algorithme (le détail des critères utilisés, les dissensions internes qu’a pu provoquer sa mise en place…) et veulent nous aider à lutter contre de telles pratiques. Nous encourageons ces personnes à nous contacter à contact@laquadrature.net.Vous pouvez aussi déposer des documents de manière anonyme sur notre SecureDrop (voir notre page d’aide ici).

Pour finir, nous tenons à dénoncer la surveillance policière dont fait l’objet le collectif Stop Contrôles. Prise de contacts téléphoniques de la part des services de renseignement, allusions aux actions du collectif auprès de certains de ses membres dans le cadres d’autres actions militantes et sur-présence policière lors de simples opérations de tractage devant des agences de la CAF : autant de mesures policières visant à l’intimidation et à la répression d’un mouvement social à la fois légitime et nécessaire.

Alors que le changement de majorité à la mairie de Marseille nous avait un temps laissé croire à l’abandon des projets technopoliciers hérités de la mandature précédente, plus le temps passe et plus la douche est froide. Cette fois, le maire Benoît Payan (PS) et ses services ont décidé de défendre la légalité de l’expérimentation de vidéosurveillance automatisée (VSA), que nous avons attaquée en décembre 2020 devant le tribunal administratif de Marseille. Leurs arguments juridiques sont en plus complètement fallacieux, comme nous le démontrons dans notre mémoire en réplique.

Fin septembre, plus de 15 000 personnes rejoignaient notre plainte collective contre le ministère de l’Intérieur. Dans la plainte, nous dénoncions l’imbrication des différents dispositifs de surveillance mis en place ces dernières années, et notamment le recours croissant à l’intelligence artificielle pour détecter automatiquement des comportements dits « suspects » dans l’espace public urbain. Le dépôt de cette plainte collective devant la CNIL intervient alors que nous avons une autre procédure contentieuse en cours, devant le Tribunal administratif de Marseille.

Fin 2018, la précédente majorité municipale, représentée à l’époque par l’adjointe en charge de la sécurité, Caroline Pozmentier (toujours conseillère régionale en PACA sous l’étiquette « Renaissance ») signait avec la société SNEF un contrat pour installer un dispositif de « vidéoprotection intelligente » (comprendre : vidéosurveillance algorithmique). Parmi les fonctionnalités envisagées se trouvent la détection automatique de graffitis, de destruction de mobilier urbain, la possibilité de rechercher dans les archives de vidéosurveillance par filtre de photos ou de « description », la détection sonore de coups de feu ou d’explosions, la « reconstitution d’évènements » (comme le parcours d’un individu) ou la détection de « comportements anormaux » (bagarre, maraudage, agression).

Après un premier recours introduit en référé début 2020 (et rejeté pour des raisons de procédures), la mairie s’était dépêchée de lancer la rédaction d’une étude d’impact. Consultée, la CNIL avait demandé à la ville de revoir sa copie et, à notre connaissance, cette étude d’impact n’a jamais vu le jour. À ce stade, il nous semblait que l’abandon de ce projet illégal par la nouvelle majorité de gauche plurielle élue à l’été 2020 serait une simple formalité. Mais malgré nos demandes pressantes faites à Yannick Ohanessian, adjoint au maire en charge de la sécurité publique, la ville nous a fait languir. Il a donc fallu déposer un nouveau recours, en décembre 2020.

À ce moment-là, une source à la mairie avait prétendu dans une confidence à l’AFP que le projet était suspendu. Et pourtant, la ville de Marseille a fait le choix d’embaucher un cabinet d’avocats pour défendre la légalité de cette expérimentation devant le tribunal. Dans son mémoire en défense, l’avocat de la ville de Marseille répète ainsi que le déploiement de cette surveillance algorithmique serait suspendu, mais se contredit juste après en affirmant que l’expérimentation continuerait de suivre son cours malgré tout : l’IA tournerait sur « une cinquantaine de caméras fixes nouvellement installées sur le parc, dans le cadre d’une solution […] en test ». Le mémoire de la ville souligne que le flux vidéo dédié à la vidéosurveillance algorithmique est acheminé vers deux postes informatiques « installés dans un local dédié au sein du CSU [Centre de supervision urbain], et accessible uniquement par l’équipe projet », cette dernière étant semble-t-il chargée de recevoir les alertes produites par les algorithmes fournis par le prestataire de la SNEF.

En réponse aux arguments juridiques soulevés par la ville pour défendre ces technologies de surveillance – et pour démontrer une fois pour toute l’illégalité de ces technologies qui sont massivement déployées sur le territoire –, nous avons déposé cet été un mémoire en réplique.

Dans ce document, nous reprenons la position juridique que nous défendons depuis longtemps : ces technologies sont fondées sur des traitements de données biométriques interdits par le droit des données personnelles. En effet, les algorithmes utilisés analysent les caractéristiques physiques, physiologiques ou comportementales des personnes pour les isoler sur les flux d’images. À terme, ils permettront de suivre automatiquement le parcours de personnes suspectées dans la rue, en temps réel ou en faisant remonter toutes les séquences archivées où ces personnes sont reconnues par ces algorithmes. Tout aussi dangereux que la reconnaissance faciale, ces logiciels reposent sur l’analyse des corps et des attributs physiques pour repérer, catégoriser et rendre notre présence dans la ville visible aux yeux de la police.

Nous rappelons aussi une évidence, à savoir que ces technologies sont déployées en l’absence de tout cadre légal, ce qui en soi suffit largement à acter leur totale illégalité. C’est d’ailleurs ce que reconnaît la CNIL dans ses lignes directrices sur la « vidéosurveillance intelligente » – publiées en juillet dernier. Cette position de la CNIL reste scandaleuse, puisque plutôt que de condamner l’ensemble des collectivités déployant ces techniques illégales et de donner voie aux nombreuses demandes d’interdiction de ces technologies discriminatoires et déshumanisantes, l’autorité préfère accompagner leur légalisation et épouser les désirs de leurs constructeurs.

Espérons désormais que le tribunal administratif de Marseille tranchera rapidement ce contentieux, et que nous pourront collectivement faire valoir cette jurisprudence partout en France et au-delà. Et à la suite, tenir en échec toute tentative du gouvernement visant à légaliser ces technologies de surveillance massive, incompatibles avec des formes de vie démocratique.