Le 3 octobre prochain s’ouvrira le procès de l’affaire dite du « 8 décembre ». Sept personnes sont accusées d’association de malfaiteurs terroriste. Pour construire le récit du complot terroriste, les services de renseignement de la DGSI chargés de l’enquête judiciaire, le parquet national antiterroriste (PNAT) puis le juge d’instruction instrumentalisent à charge le fait que les inculpé·es utilisaient au quotidien des outils pour protéger leur vie privée et chiffrer leurs communications. Face à cette atteinte inédite, que nous documentions longuement il y a quelques mois, le temps de ce procès va donc être crucial dans la bataille contre les velléités récurrentes de l’État de criminaliser des pratiques numériques banales, sécurisées et saines, pratiques que nous défendons depuis toujours.

« Il reconnaissait devant les enquêteurs utiliser l’application Signal »

Comme le souligne le journal Le Monde qui a consacré un long article au « 8 décembre », cette affaire repose « sur des bases fragiles ». Parmi celles-ci, nous sommes particulièrement inquiets de la place donnée à l’utilisation des outils de chiffrement ou, plus largement, des moyens pour protéger sa vie privée. Un des enjeux de ce procès sera donc de savoir si une telle pratique peut être utilisée à charge par la police et la justice pour étayer la la présomption d’un projet terroriste. Un tel parti pris de la part du juge constituerait un passage de cap extrêmement dangereux, puisque toute forme de confidentialité deviendrait alors suspecte par défaut.

Dans ce dossier, protéger sa vie privée et chiffrer ses communications n’est plus seulement suspect mais devient constitutif d’un « comportement clandestin », un moyen de cacher un projet criminel. À travers différentes notes, la DGSI s’est ainsi affairée à démontrer comment l’utilisation d’outils comme Signal, Tor, Proton, Silence, etc., serait une preuve de la volonté de dissimuler des éléments compromettants. Et en plus de cela, comme nous le dénonçions en juin dernier, la DGSI justifie l’absence de preuves d’un projet terroriste par l’utilisation d’outils de chiffrement : les éléments prouvant une intention terroriste sont nécessairement, selon elle, dans ces fameux messages chiffrés et inaccessibles. Le serpent se mord la queue, ce qui amène les avocats d’un des inculpé·es à dénoncer le fait qu’« ici, l’absence de preuve devient une preuve ».

Plus inquiétant encore, l’enquête de la DGSI est parsemée d’approximations voire d’erreurs techniques, qui seront ensuite reprises par le PNAT puis le juge d’instruction. Ainsi, les enquêteurs confondent Tor et Tails dans certaines pièces du dossier. Le résultat de l’enquête pointe également comme un élément de culpabilité le fait que les inculpé·es chiffrent le contenu de leur téléphone ou de leur ordinateur. Toujours avec beaucoup de confusions techniques, la DGSI reproche ainsi aux personnes en cause d’utiliser LUKS, un outil disponible sous Linux pour chiffrer ses disques, pourtant banal et recommandé pour protéger ses données. Mais, de manière générale, l’ensemble du dossier tend à démontrer que la police et la justice ignorent que le chiffrement par défaut des supports de stockage est mis en place par les principaux développeurs de logiciels. Et ces mêmes autorités oublient que leurs périphériques aussi sont chiffrés (en tout cas nous l’espérons pour elles !).

En somme, il est reproché aux inculpé·es de respecter des règles élémentaires de sécurité informatique. Ce qui est parfois appelé « hygiène numérique »¹Voir par exemple le guide de l’ANSSI sur l’hygiène numérique. devient le symbole d’un prétendu comportement clandestin.

Les États relancent leur guerre contre le chiffrement

Il existe depuis toujours une tension politique autour du chiffrement des communications électroniques, et cela est bien logique puisque le chiffrement est politique par nature. Martin Hellmann, un des chercheurs en mathématiques ayant participé à la conception du chiffrement asymétrique dans les années 1970, justifiait à l’époque sa démarche par sa crainte que « l’utilisation croissante des outils de traitement automatisés représente une réelle menace pour l’économie et la vie privée ». Pour lui, les techniques de chiffrement fiables constituaient une manière d’empêcher le développement de la « surveillance d’un État policier s’appuyant sur l’informatisation » ²Voir la citation de Corrigan-Gibbs, « Keeping Secrets », dans la thèse de Félix Tréguer, « Pouvoir et résistance dans l’espace public : une contre-histoire d’Internet (XVe-XXIe siècle) » accessible sur https://shs.hal.science/tel-01631122. Voir aussi le livre Contre-histoire d’Internet : Du XVe siècle à nos jours, édition revue et actualisée, Agone, 2023.. On le comprend, l’émergence de cette technologie n’est pas le résultat de découvertes scientifiques fortuites mais bien le fruit d’un rapport de force naissant. Et cela explique pourquoi les États ont toujours opposé une résistance à son développement et à son utilisation, une volonté de contrôle trahie par un discours transformant leurs créateur·rices et les utilisateur·rices du chiffrement en criminels potentiels.

En effet, dès la publication des travaux d’Hallman et de ses camarades, le gouvernement des États-Unis a fait pression pour que cette technique reste dans le domaine militaire, afin de pouvoir en maîtriser le développement. Ensuite, dans les années 1990, la démocratisation du chiffrement, notamment via le protocole PGP, donne de nouvelles sueurs froides au gouvernement états-unien qui repart à l’attaque. Ce dernier propose alors de mettre en place des « Clipper Chips », c’est-à-dire l’obligation d’installer une puce contenant une « porte dérobée » dans tout système chiffré, permettant un accès aux données pour les autorités judiciaires et administratives.

Commence alors une « crypto-war » qui oppose l’administration Clinton et les nombreux activistes défendant le droit à la cryptographie. Le gouvernement fédéral se défend en expliquant que « si les technologies cryptographiques sont rendues librement accessibles à l’échelle mondiale, elles seraient sans aucun doute largement utilisées par les terroristes, les trafiquants de drogue et autres criminels qui portent préjudice aux Américains sur le territoire national et à l’étranger. » Mais ce discours de criminalisation échoue et le chiffrement est retiré de la liste des « armes et munitions » en 1996, ouvrant la voie à sa libéralisation. En France, bien que poussée par des militant·es, cette libéralisation du chiffrement n’a eu lieu qu’en 1999, faisant de la France un des derniers États à vouloir garder cette technique sous son contrôle.

Les attaques contre le chiffrement ont refait surface dans les années 2010, à un moment où la population a tout à la fois pris conscience des méga-programmes de surveillance étatiques, vécu des épisodes d’attentats donnant lieu à un climat sécuritaire intense, et pu accéder à des messageries chiffrées grand public. Cette conjoncture a ainsi donné de nouvelles occasions aux différents ministres de l’intérieur (Cazeneuve, Castaner puis Darmanin), députés, ou président pour redonner corps à la criminalisation aussi bien des concepteur·rices des outils fondés sur du chiffrement (pensons par exemple à l’affaire de l’iPhone de San Bernardino qui a mis Apple au centre des critiques) que de ses utilisateur·rices.

La crainte d’un précédent irrémédiable

Avec l’affaire du « 8 décembre », nous assistons donc à une matérialisation de ce discours qui tente de faire croire que le chiffrement des communications serait l’apanage des criminels et terroristes. Sauf qu’il ne s’agit plus d’une déclaration politique opportuniste pour étendre des pouvoirs voulus depuis des décennies. Nous parlons cette fois-ci d’une accusation policière et judiciaire aux conséquences concrètes et graves, qui a participé à mettre des personnes en prison. Nos inquiétudes sont grandes face à la possibilité que les juges puissent adhérer à cette narration criminalisant les outils de protection de la vie privée. Cela créerait un précédent aussi bien juridique que politique, en plus d’avoir des conséquences humaines désastreuses pour les principales personnes concernées. La confidentialité, ici numérique mais qui pourrait s’étendre demain à des pratiques physiques, deviendrait alors une présomption de culpabilité. Se protéger, adopter des mesures de sécurité pour soi et les autres serait alors un motif de poursuites.

Isabela Fernandes, la directrice exécutive du Tor Project nous a fait part de son soutien dans cette bataille à venir. Pour elle, « le chiffrement ne doit pas être compris à tort comme un signe d’intention malveillante mais, doit au contraire être vu comme une composante fondamentale du droit à la vie privée et à la sécurité informatique des personnes. Dès lors que de plus en plus d’aspects de nos vies ont lieu en ligne, le chiffrement est garant de la capacité à protéger sa vie privée et ses droits. »

Elle ajoute : « De nombreux outils préservant la vie privée sont utilisés par les membres de la Commission européenne et des organes d’État. Les gouvernements ont la responsabilité d’assurer le droit à la liberté d’expression et à la vie privée pour toutes et tous afin de protéger un fondement des sociétés démocratiques – plutôt que de promouvoir une interprétation biaisée de qui peut bénéficier de ces droits et qui ne le peut pas. »

C’est bien parce que déduire de l’utilisation d’outils pour protéger sa vie privée et chiffrer ses communications un comportement clandestin vient nourrir un dossier pénal très faible que plus de 130 personnes et organisations ont dénoncé cela dans une tribune parue dans Le Monde. À l’heure où l’État étend ses filets de plus en plus loin, autorise la surveillance à distance des objets connectés , y compris ceux des journalistes sous prétexte de sécurité nationale, assimile les revendications écologiques à du terrorisme pour mieux justifier sa débauche de moyens répressifs et intrusifs, perquisitionne les journalistes qui révèlent des crimes de guerre commis avec la complicité de l’État, veut mettre fin à toute idée d’anonymat en ligne ou à tout secret des correspondances, nous assistons actuellement à un emballement autoritaire terriblement inquiétant.

Ce procès est une énième attaque contre les libertés fondamentales, mais surtout un possible aller sans retour dans le rapport que l’État entretient avec le droit à la vie privée. Alors votre mobilisation est importante ! Rendez-vous demain, 3 octobre, à 12h devant le tribunal de Paris (Porte de Clichy) pour un rassemblement en soutien aux inculpé·es. Puis si vous le pouvez, venez assister aux audiences (qui se tiendront les après-midis du 3 au 27 octobre au tribunal de Paris) afin de montrer, tous les jours, solidarité et résistance face à ces attaques.

En 2021, La Quadrature du Net avait attaqué un dispositif d’audiosurveillance algorithmique déployé à Orléans dans le cadre d’une convention avec l’entreprise de surveillance Sensivic. Cette semaine, la CNIL vient de nous donner raison en soulignant l’illégalité de ce dispositif technopolicier.

En 2021, la ville d’Orléans concluait avec une startup locale, Sensivic, un contrat pour expérimenter une nouvelle forme de surveillance policière de l’espace public : l’audiosurveillance algorithmique (ASA). Comme ce qui avait été tenté à Saint-Étienne, le projet consistait à déployer des « détecteurs de sons anormaux » (c’est-à-dire des « mouchards ») sur des caméras de surveillance.

L’ASA est un des composantes de la Technopolice qui s’affirme sur le territoire français, aux côtés de la vidéosurveillance algorithmique (VSA), des drones ou de la reconnaissance faciale. Il est essentiel de la freiner et de la combattre partout où elle se déploie. C’est la raison pour laquelle nous avions donc attaqué la convention entre Orléans et Sensivic, aussi bien devant la justice administrative que devant la CNIL. C’est aujourd’hui que la CNIL, après plus de deux ans d’instruction, vient de nous donner raison.

Pas d’oreilles pour les caméras

La CNIL vient ici rappeler ce qu’elle avait déjà dit à Saint-Étienne. En effet, en 2019, avec l’aide de l’entreprise Serenicity, Saint-Étienne avait envisagé un projet similaire de surveillance sonore : la CNIL avait déjà à l’époque considéré qu’il est illégal de capter des sons dans l’espace public pour améliorer la vidéosurveillance.

Le projet orléanais que nous avons attaqué prévoyait bien lui aussi une analyse automatisée de tous les sons de l’espace public dans l’objectif d’aider les caméras à repérer certains comportements suspects. Malgré tout ce qu’a pu baratiner Sensivic dans le cadre de notre contentieux, la CNIL rappelle le droit : ce dispositif de micros, couplé à la vidéosurveillance, est illégal car le droit existant ne permet en aucun cas une telle surveillance.

Après Saint-Étienne, une telle décision à Orléans permet au moins de clarifier les choses et de mettre un frein, aussi petit soit-il, à l’industrie de la surveillance qui cherche par tous les moyens à revendre ses logiciels de surveillance de masse.

La CNIL relègue l’ASA au rang de technologie inutilisable

Cette position de la CNIL est néanmoins décevante.

D’une part, alors qu’il ne s’agissait que de l’application stricte d’une décision déjà prise dans le passé à Saint-Étienne, la CNIL a mis presque trois ans à instruire ce dossier et à prendre une décision. Trois ans pendant lesquels l’ASA a pu se normaliser et se développer. Trois ans de gagnés pour la Technopolice. Notons que nous sommes d’ailleurs toujours en attente de la décision du tribunal administratif sur ce même dossier.

D’autre part, la CNIL limite son raisonnement à la question du couplage de l’ASA avec la vidéosurveillance. A contrario, elle considère que, lorsque l’ASA n’est pas couplée à de la vidéosurveillance, il pourrait ne pas y avoir de traitement de données personnelles. Cette analyse de la CNIL, bien que sans conséquence pratique, reste très contestable juridiquement. En bref, elle semble laisser une marge à l’industrie de la surveillance sur la question de l’analyse automatisée des sons.

Considérer qu’il n’y a de traitement de données personnelles que lorsque l’ASA est couplée avec un dispositif de vidéosurveillance (ou n’importe quel un mécanisme d’identification des personnes) est juridiquement contestable. Mais cela n’a pas de conséquence pratique directe : l’objectif de l’ASA est bien de connaître la source d’un bruit, c’est-à-dire d’être couplée à un autre dispositif. Ce « complément naturel à l’image dans les systèmes de sécurité et de vidéosurveillance », pour reprendre les mots de Sensivic, est bien illégal.

Cette victoire devant la CNIL est une bonne nouvelle. Au tour de la justice administrative, désormais, de rendre sa décision. Il est urgent, aujourd’hui, de mettre un terme définitif à ces projets de surveillance sonore. Alors pour nous aider à continuer la lutte, vous pouvez participer à documenter cette surveillance ou faire un don.

Mise à jour du 24 octobre 2023 : nous venons d’informer le tribunal administratif d’Orléans de la position de la CNIL (notre mémoire est consultable ici).

Loi SREN : un catalogue de mauvaises nouvelles

Le projet de loi « visant à sécuriser et réguler l’espace numérique » (SREN), voté en juillet dernier par le Sénat mais actuellement en discussion à l’Assemblée, est dans son état actuel un grand fourre-tout de mesures pour « civiliser » le « Far-West » qu’est encore aujourd’hui le web dans l’esprit des politiques.

De nombreux faits divers sont venus alimenter cette vision noire d’internet, coupable de tous les maux de la société : après le terrorisme, la pédophilie, la désinformation, les mouvements sociaux spontanés ou les émeutes de banlieue, les maux qui justifient une action énergique sont aujourd’hui le harcèlement scolaire et la pornographie accessible aux enfants. Et comme à chaque fois, on n’imagine rien d’autre que davantage de répression, de censure et de surveillance, confiées à des acteurs privés (les grandes plateformes de réseaux sociaux, en général) sans contrôle de la justice et avec les encouragements des services administratifs et policiers de l’État.

Bien sûr, personne ne songe à nier ou à minimiser les problèmes ni les faits de société qui sont à l’œuvre. En revanche, il est de notre rôle de prendre la parole quand les moyens imaginés pour les résoudre sont démesurés, inefficaces, ou carrément dangereux : surveiller tout et tout le monde présente beaucoup de risques pour une société démocratique… Nous avons donc publié le 12 septembre un long article d’analyse — aussi dense et copieux que la loi — pour présenter les points qui nous inquiètent.

Le projet de loi aborde la problématique du harcèlement en ligne par la manière autoritaire : une personne condamnée, donc bien connue et punie en proportion de ses actes, serait désormais bannie des réseaux sociaux. À charge aux plateformes de se débrouiller pour identifier les nouveaux comptes créés par une personne condamnée. Comment y arriver, si chacun ne doit pas fournir son identité civile pour créer le moindre compte ?
Même logique encore contre les arnaques en ligne (phishing et autres) : une liste de sites identifiés à bloquer serait fournie par l’État et intégrée directement dans les navigateurs web. Un moyen parfait pour créer des listes à tout faire où se retrouveraient des sites à teneur politique ou contestataire.

Par ailleurs, le projet de loi ne propose aucune solution favorisant l’autogestion des contenus en ligne, comme l’interopérabilité des réseaux sociaux que nous défendons depuis plusieurs années. En permettant la création d’instances spécifiques, gérées par une communauté qui se dote de règles, elle permettrait pourtant aux internautes jeunes et vieux d’évoluer dans des espaces modérés où les contenus haineux et pédopornographiques seraient exclus, et au pire cantonnés à des espaces plus faciles à identifier et à isoler. La promotion des plateformes géantes entraîne le recours à des moyens massifs qui attentent aux droits du plus grand nombre.

Le texte présente enfin des mesures contre l’accès jugé trop facile des enfants et des jeunes à la pornographie en ligne. L’obligation faite aux sites depuis 2020 de filtrer l’entrée aux mineurs n’ayant rien changé, le projet de loi SREN introduit une nouvelle obligation de prouver son âge. Devoir faire usage de son identité civile pour naviguer sur Internet, voilà une nouveauté très dérangeante. Comme chaque point de cette loi mérite une analyse particulière, nous avons également publié le 19 septembre un article consacré à la question de l’accès au porno, écrit en partenariat avec l’association Act-Up.

Passé en commission des lois cette semaine, le projet de loi sera discuté en séance par l’Assemblée à partir du 4 octobre prochain.

L’analyse complète de la loi : https://www.laquadrature.net/2023/09/12/projet-de-loi-sren-le-gouvernement-sourd-a-la-realite-dinternet/

L’article sur l’accès au porno : https://www.laquadrature.net/2023/09/19/projet-de-loi-sren-et-acces-au-porno-identifier-les-internautes-ne-resoudra-rien/

Règlement CSAR : la fin des échanges confidentiels ?

Les instances de l’Union européenne travaillent en ce moment sur un projet de règlement contre la pédopornographie intitulé « Child Sexual Abuse Regulation » (CSAR) et souvent appelé « Chat control » par les acteurs européens. Idée forte du texte : pour lutter contre les violences sexuelles faites aux enfants, il est demandé aux hébergeurs de contenus en ligne de détecter les contenus pédopornographiques et de surveiller les conversations des utilisateurs.

En réalité, l’analyse des images postées par les utilisateurs de services en ligne existe déjà, pratiquée par Meta, envisagée par Apple, et encouragée à titre expérimental, pour 3 ans, par un précédent règlement européen de 2021. Le CSAR doit justement prendre le relais et inscrire cette obligation d’analyse et de filtrage dans le marbre. L’enjeu est colossal. Dans ce cadre comme dans celui de la loi SREN, la lutte contre la pédopornographie, totem inattaquable et légitime, justifie l’abolition de la confidentialité de tous les échanges en ligne.

Le pseudonymat, le chiffrement des échanges, le secret des correspondances, la vie privée qui va de pair avec la liberté d’expression, tout disparaît devant une seule cause élevée en absolu — et pour des résultats que des études et des services de police ne jugent même pas probants.

Lire l’article complet :
https://www.laquadrature.net/2023/09/18/reglement-csar-la-surveillance-de-nos-communications-se-joue-maintenant-a-bruxelles/

La Quadrature dans les médias

Loi SREN

• Projet de loi sur l’espace numérique : « une surenchère autoritaire » pour la Quadrature du Net — https://www.notretemps.com/depeches/projet-de-loi-sur-l-espace-numerique-une-surenchere-autoritaire-pour-la-quadrature-du-net-78288 [Notre Temps]
• Il faut qu’on parle du projet de loi SREN qui pourrait détruire les libertés fondamentales d’Internet — https://www.konbini.com/internet/il-faut-quon-parle-du-projet-de-loi-sren-qui-pourrait-detruire-les-libertes-fondamentales-dinternet/ [Konbini]
• Porno, harcèlement en ligne, blocage de sites Web : que contient la loi SREN ? — https://www.commentcamarche.net/securite/protection/29049-porno-harcelement-en-ligne-blocage-de-sites-web-que-contient-la-loi-sren/ [Comment ça marche]
• https://alloforfait.fr/internet/news/121431-sren-paul-midy-souhaite-fin-anonymat-internet-sonner-fin-impunite.html — https://alloforfait.fr/internet/news/121431-sren-paul-midy-souhaite-fin-anonymat-internet-sonner-fin-impunite.html [AlloForfait]

VSA et JO

• JO de Paris 2024 : La vidéosurveillance algorithmique signe-t-elle la fin de nos libertés ? — https://www.20minutes.fr/high-tech/4053081-20230920-jo-paris-2024-videosurveillance-algorithmique-signe-fin-libertes [20 minutes]
• Responsables politiques de l’UE : réglementez les technologies policières ! La société civile demande à l’UE de fixer des limites aux technologies de surveillance dans la loi sur l’intelligence artificielle — https://www.ldh-france.org/responsables-politiques-europeens-reglementez-la-technologie-policiere/ [Ligue des droits de l’Homme]
• Police AI needs strict limits and controls, warn civil society organisations — https://www.statewatch.org/news/2023/september/police-ai-needs-strict-limits-and-controls-warn-civil-society-organisations/ [Statewatch]

Divers

• Weltweite Warnung vor Überwachungsplänen der EU — https://netzpolitik.org/2023/chatkonrolle-weltweite-warnung-vor-ueberwachungsplaenen-der-eu/ [Netzpolitik]
• Jusqu’où faut-il équiper la police ? — https://usbeketrica.com/fr/article/jusqu-ou-faudra-t-il-equiper-la-police [Usbek & Rica]
• « Les techniques de surveillance utilisées par le renseignement justifieraient un contrôle plus resserré » — https://www.lepoint.fr/monde/les-techniques-de-surveillance-utilisees-par-le-renseignement-justifieraient-un-controle-plus-resserre-18-09-2023-2535789_24.php [Le Point]

Agenda

• 23 septembre : soirée de soutien aux inculpé·es du « 8 décembre » au Centre Paris Anim’ Montparnasse (Jardin Atlantique, 26 allée du Chef d’Escadron de Guillebon, 75014) — discussion à 16h avec L’Envolée et La Quadrature du Net, puis grand concert de 18h à 23h : https://www.agendamilitant.org/Concert-de-soutien-aux-inculpee-es-du-8-12.html.



• 25 septembre : discussion «  Affaire du « 8 décembre » : antiterrorisme et criminalisation du chiffrement » à la Bourse du Travail à Paris (29 boulevard du Temple, 75003) — à partir de 19h avec La Quadrature du Net, le SNJ, N0thing to Hide et les avocats des inculpé·es.
  
• 26 septembre : La Quadrature participera à une discussion sur le chiffrement et la surveillance organisée par EDRi à partir de 16h30 à Bruxelles (lieu à préciser) : https://edri.org/take-action/events/save-the-date-join-edri-to-talk-encryption-surveillance-and-privacy/.
• du 28 septembre au 1er octobre : deuxième édition du Festival Technopolice à Marseille ! Films, ateliers et débats, toutes les infos ici : https://technopolice.fr/festival-2023/.
• 28 septembre : rencontre avec Félix Tréguer à 18h à la librairie L’Hydre aux mille têtes à Marseille (96 rue Saint-Savournin, 13001) dans le cadre de la parution de son livre Contre-histoire d’Internet aux éditions Agone.
• 29 septembre : apéro mensuel au Garage (115 rue de Ménilmontant, 75020 Paris) à partir de 19h : apportez un petit truc à manger ou à boire si vous pouvez et venez discuter avec nous !
• 6 octobre : rencontre avec Félix Tréguer à 19h à la librairie Le Monte-en-l’air à Paris (2 rue de la Mare, 75020) dans le cadre de la parution de son livre Contre-histoire d’Internet aux éditions Agone.

Article co-écrit par La Quadrature du Net et Act Up-Paris.

Parmi les nombreuses mesures du projet de loi visant à sécuriser et réguler l’espace numérique (« SREN » ou « Espace numérique ») figurent deux articles qui renforcent le contrôle des sites proposant du contenu à caractère pornographique, en leur imposant de vérifier l’âge des internautes pour bloquer l’accès aux mineur·es. Nous revenons, La Quadrature du Net et Act Up-Paris, sur cette mesure et ses dangers (voir aussi l’analyse globale de La Quadrature sur le projet de loi SREN).

Vérification de l’âge et blocage

À l’été 2020, la loi n° 2020-936 a renforcé les obligations pesant sur les sites proposant du contenu à caractère pornographique afin d’empêcher les mineur·es d’accéder à ces derniers. D’une part, elle a renforcé le délit que commet un site à caractère pornographique s’il est accessible à un·e mineur·e : demander à l’internaute de déclarer sur l’honneur qu’il ou elle est majeur·e ne suffit pas. D’autre part, cette loi a introduit une obligation pour ces sites de recourir à des dispositifs de vérification de l’âge des internautes. La sanction en cas d’absence de vérification de l’âge est la censure. L’Arcom, autorité née de la fusion entre le CSA et la Hadopi, est chargée de mettre en demeure les sites ne vérifiant pas correctement l’âge des internautes, puis de saisir la justice pour les faire censurer si les mises en demeures sont restées sans effet.

À l’époque, La Quadrature constatait que, encore une fois, les élu·es n’avaient rien compris à ce qu’est Internet. Vouloir mettre en place une obligation de vérifier l’âge des internautes en empêchant la seule technique respectueuse des libertés fondamentales qu’est l’auto-déclaration de l’internaute revient à supprimer le droit à l’anonymat en ligne. Act Up-Paris s’était prononcée également contre de tels procédés de censure, contre-productifs tant pour protéger les mineur·es de l’exposition aux contenus pornographiques que pour l’indépendance des travailleur·ses du sexe.

Le projet de loi SREN actuellement débattu à l’Assemblée montre que le gouvernement et les élu·es qui soutiennent ce texte n’ont toujours pas compris le fonctionnement d’Internet et les enjeux en termes de libertés fondamentales. En effet, à ses articles 1^er et 2, ce texte va encore plus loin dans l’obligation de vérifier l’âge des internautes qui souhaiteraient accéder à un site à caractère pornographique : si ces deux articles étaient votés en l’état, l’Arcom pourrait imposer aux plateformes ses propres choix techniques pour vérifier l’âge (à travers l’édiction d’un référentiel), puis censurer elle-même, sans passer par un juge, les sites qui ne se plieraient pas à ses exigences (par des injonctions de blocage et de déréférencement).

Contourner le juge

Ce projet de loi prévoit deux contournements du juge : celui-ci ne décidera plus du bien-fondé d’une censure avant que celle-ci ne soit prononcée, et il ne décidera plus de la manière de procéder à la vérification de l’âge.

En effet, premièrement, le ministre Jean-Noël Barrot à l’origine de ce projet de loi ne cache pas que l’objectif est de ne plus attendre la justice pour censurer les sites : le projet de loi confie, dans son article 2, le soin à l’Arcom de censurer elle-même les sites, au lieu de passer par la justice, dans un mouvement de défiance envers cette dernière. M. Barrot justifiait ainsi devant le Sénat le rôle du référentiel qu’édictera l’Arcom : « En réalité, le référentiel vient sécuriser la capacité de l’Arcom à ordonner le blocage et le déréférencement. Et puisque nous prévoyons dans les articles 1^er et 2 d’aller beaucoup plus vite, en contournant la procédure judiciaire, pour procéder à ce blocage, il faut que nous puissions fixer, à tout le moins, les conditions dans lesquelles le blocage et le déréférencement puissent être prononcés par l’Arcom. »

Le ministre a admis également dans la presse que ce mécanisme pourrait parfaitement conduire à censurer des réseaux sociaux comme Twitter. En effet, censurer Twitter est une demande récurrente de certaines associations de protection de l’enfance qui avaient formellement saisi l’année dernière l’Arcom afin qu’elle obtienne le blocage judiciaire du réseau social. Pourtant, à notre connaissance, l’autorité n’a jamais fait droit à cette demande, très certainement parce qu’une telle censure serait refusée par la justice. Demain, si ce texte passait, l’autorité pourrait exiger directement le blocage d’un réseau social comme Twitter, d’autant plus que le gouvernement l’y incite.

Deuxièmement, le contournement du juge réside également dans les règles qui s’appliqueront aux sites pour vérifier l’âge. En effet, l’Arcom sera chargée d’établir un référentiel pour déterminer les caractéristiques obligatoires de la vérification de l’âge. Aujourd’hui, en l’absence de précision dans la loi, c’est le juge qui, lorsqu’il est saisi d’une demande de l’Arcom de censure d’un site, regarde si la vérification de l’âge est techniquement possible et décide de prononcer ou non une censure en fonction des outils disponibles et des conséquences pour les droits fondamentaux. Mais demain, ce sera l’Arcom qui décidera de comment procéder à cette vérification¹On relèvera également le grand risque d’inconstitutionnalité de ce nouveau pouvoir accordé à l’Arcom. Depuis une décision de 1989, le Conseil constitutionnel considère que, s’il est possible de confier à une autorité administrative un pouvoir réglementaire, c’est-à-dire un pouvoir d’édicter des règles contraignantes, celui-ci ne peut porter que sur « des mesures de portée limitée tant par leur champ d’application que par leur contenu ». En l’espèce, le Conseil constitutionnel avait censuré des dispositions qui confiaient au CSA le soin d’édicter des règles générales qui devaient s’imposer aux personnes régulées. Cette jurisprudence s’oppose donc également à ce que le référentiel que l’Arcom devra établir soit édicté par l’autorité elle-même.. Ce référentiel s’imposera aux sites, qui n’auront pas d’autre choix que de s’y conformer sous peine d’être censuré, même si cela aurait des conséquences dramatiques pour les libertés fondamentales.

Ce contournement du juge est particulièrement inquiétant dans un État de droit. La justice est vue par le gouvernement comme un frein, un obstacle qu’il faudrait « contourner ». Pour le ministre, la fin justifie les moyens : parce que la justice est considérée comme trop lente, elle doit être contournée. Les mêmes dangers pour les libertés que dans le reste des cas de censure administrative se poseront ici : la justice pourra toujours se prononcer sur le bien-fondé d’une censure, mais une fois seulement que celle-ci sera mise en place. Agir d’abord, réfléchir ensuite.

Surveillance automatisée des contenus et risques de sur-censure

À première vue, on serait tenté de se dire que l’obligation de vérification de l’âge pour les sites proposant du contenu pornographique n’est pas très grave car elle est limitée. Mais comme on l’a dit juste avant, les réseaux sociaux seront eux aussi concernés.

Pour une plateforme dont l’objet principal est de proposer du contenu à caractère pornographique, l’étendue de cette obligation de vérifier l’âge des internautes est facile à déterminer : avant l’accès à la moindre page de ces sites, la vérification de l’âge devra être faite. Mais il est beaucoup plus difficile pour un site dont l’objet principal n’est pas de proposer un tel contenu, notamment les réseaux sociaux, de distinguer ce qui relèverait de la pornographie ou non.

L’obligation de vérifier l’âge des internautes avant d’accéder à un contenu pornographique va donc, de fait, imposer aux plateformes de réseaux sociaux d’analyser automatiquement tous les contenus que publieraient leurs utilisateur·rices afin de déterminer les contenus à caractère pornographique, pour activer la vérification de l’âge quand cela sera nécessaire. Une analyse humaine n’est en effet pas envisageable en raison de la masse à traiter. Et comme la responsabilité repose sur les plateformes, elles seront nécessairement incitées à englober des contenus qui ne relèvent pas de la pornographie, dans le doute et par crainte d’une sanction pénale et d’une censure administrative²Une telle obligation de surveillance généralisée des contenus est radicalement contraire au droit européen puisque la directive e-commerce précise à son article 15 que « les États membres ne doivent pas imposer aux prestataires (…) une obligation générale de surveiller les informations qu’ils transmettent ou stockent »..

Le résultat sera catastrophique car les plateformes censureront par exemple les contenus de prévention en santé sexuelle. En effet, aujourd’hui, des associations de santé comme le Projet Jasmine de Médecins du Monde font des maraudes virtuelles pour toucher les travailleur·ses du sexe les plus éloigné·es de l’accès au soin. D’autres, comme Grisélidis, effectuent des maraudes en ligne sur les applications pour toucher les personnes mineur·es qui se prostituent. Or, ces différentes actions, qui visent à accompagner et aider ces personnes, seront impactées par cette censure. Aujourd’hui déjà, les campagnes de santé sexuelle sont limitées car les algorithmes invisibilisent tout ce qui touche aux sexualités : la simple mention du mot « sexe » fait perdre de la visibilité aux contenus en ligne et la nudité est censurée (voir par exemple la censure par Meta d’une une de Télérama contre la grossophobie, ou la censure d’une campagne de prévention d’Act-Up Paris). Le public que ces associations tentent d’aider subit aujourd’hui déjà des suppression de comptes sur les réseaux sociaux, et ce projet de loi aggravera cela. Le principal risque pour les associations de santé communautaire est de perdre le contact avec ces personnes particulièrement vulnérables.

Fin de l’anonymat en ligne

Enfin, de manière encore plus grave, cette vérification de l’âge implique la fin de l’anonymat en ligne. On rappellera que le principe est le droit à l’anonymat en ligne, qui est protégé tant par le droit de l’Union européenne³Le considérant 14 de la directive e-commerce précise que « La présente directive ne peut pas empêcher l’utilisation anonyme de réseaux ouverts tels qu’Internet. » La CJUE rattache également ce droit à naviguer anonymement sur Internet aux articles 7 (droit à la vie privée) et 8 (droit à la protection des données personnelles) de la Charte UE des droits fondamentaux : « Ainsi, en adoptant cette directive [e-privacy n° 2002/58], le législateur de l’Union a concrétisé les droits consacrés aux articles 7 et 8 de la Charte, de telle sorte que les utilisateurs des moyens de communications électroniques sont en droit de s’attendre, en principe, à ce que leurs communications et les données y afférentes restent, en l’absence de leur consentement, anonymes et ne puissent pas faire l’objet d’un enregistrement. » (CJUE, gr. ch., 6 octobre 2020, La Quadrature du Net e.a., aff. C-511/18, C-512/18 et C-520/18, pt. 109). Par ailleurs, la CJUE parle d’anonymat, et non de pseudonymat. que par la Convention européenne de sauvegarde des libertés fondamentales (CESDH)⁴La Cour européenne des droits de l’Homme (CEDH) considère, au visa de l’article 10 de la CESDH qui protège le droit à la liberté d’expression, qu’il existe un principe de droit à l’anonymat sur Internet (CEDH, gr. ch., 16 juin 2015, Delfi AS c. Estonie, n° 64569/09, § 147). Ce droit à l’anonymat est également issu du droit à la vie privée de la CEDH puisque la Cour considère qu’un internaute conserve une attente raisonnable relative au respect de sa vie privée lorsque son adresse IP est traitée lors de sa navigation en ligne, alors même que l’adresse IP est, dans ce contexte, une donnée personnelle rendue publique par la navigation (CEDH, 24 avril 2018, Benedik c. Slovénie, n° 62357/14, §§ 100–119).. Or, le projet de loi SREN remet directement en cause ce principe en ligne.

Le texte ne dit pas comment la vérification de l’âge devra se faire : c’est sur l’Arcom, lorsqu’elle édictera son référentiel, que reposera cette mission. Il existe plusieurs manières de vérifier l’âge en ligne. La plupart sont relativement peu fiables et constitueraient de graves atteintes aux libertés fondamentales (analyse biométrique du visage, analyse de l’historique, utilisation d’une carte bancaire, envoi de sa carte d’identité au site). Il existe également une manière non-fiable mais qui offre l’avantage de ne pas créer d’atteinte disproportionnée aux libertés : l’auto-déclaration par l’internaute. Mais le législateur a explicitement écarté cette dernière en 2020.

La solution qui revient régulièrement, parce qu’elle serait la moins mauvaise solution, est l’identité numérique et on peut s’attendre à ce que l’Arcom s’oriente vers cette solution dans son référentiel. L’identité numérique consiste à s’identifier en ligne à l’aide d’un service autre. Les GAFAM ont leur système d’identité numérique (par exemple Google qui permet de s’identifier sur un site tiers à l’aide du compte Google de l’internaute), l’État également (avec ses services FranceConnect et France Identité). Or, l’identité numérique, si elle est bien implémentée via un tiers de confiance, permet de limiter les informations traitées. Comme le relevait le laboratoire d’innovation numérique de la CNIL (le LINC), passer par un tiers de confiance qui sera chargé de vérifier l’âge pour le compte d’un site internet permet à ce dernier de ne pas connaître l’identité de l’internaute. Avec ce mécanisme, l’internaute se connecte à ce tiers de confiance à l’aide d’une identité numérique d’État pour justifier de son identité donc de son âge. Puis le tiers de confiance délivre un certificat de majorité (aussi appelé ici « jeton » ou « token ») à l’internaute. Enfin, l’internaute transmet au site ce certificat pour prouver qu’il ou elle a 18 ans ou plus. Concrètement, cela prend la forme d’une page de connexion sur la plateforme du tiers de confiance et la transmission du certificat est effectuée automatiquement par le navigateur de l’internaute vers le site qui demande la majorité.

Cette solution, parfois appelée « en double aveugle », a beau être la moins mauvaise, elle reste dangereuse. Certes, le site qui doit vérifier l’âge de l’internaute ne connaît pas son identité réelle (mais seulement s’il a 18 ans ou plus) et le tiers de confiance ne sait pas sur quel site l’internaute se connecte (parce que le certificat de majorité n’est pas présenté directement par le tiers de confiance au site). En revanche, une telle solution implique nécessairement de devoir justifier de son identité à un moment avant de pouvoir accéder à un service en ligne : même si l’internaute ne se connecte pas directement auprès du site voulant vérifier l’âge, il devra justifier de son identité auprès d’un tiers. L’anonymat n’est plus possible si un site impose à ses internautes de s’identifier pour vérifier leur âge. Dit autrement, lorsque le législateur impose de vérifier l’age des internautes, il empêche fatalement tout anonymat en ligne.

Et cette affirmation est d’autant plus vraie que d’autres mesures voulues par la majorité impliquent de vérifier l’âge au-delà des contenus à caractère pornographique.

Interdire, interdire, interdire

Comme La Quadrature du Net le relevait, la vérification de l’identité des internautes avant d’accéder à du contenu à caractère pornographique s’insère dans une série de prises de positions et de lois en défaveur de l’anonymat en ligne. En juillet, le Parlement a adopté une proposition de loi Horizons qui instaure une « majorité numérique ». Cette loi veut imposer aux plateformes en ligne⁵Le texte parle de « réseaux sociaux » mais la définition est tellement large qu’elle englobe également les messageries interpersonnelles ou les sites ayant un espace de discussion, comme par exemple n’importe quel blog en ligne : « On entend par service de réseaux sociaux en ligne toute plateforme permettant aux utilisateurs finaux de se connecter et de communiquer entre eux, de partager des contenus et de découvrir d’autres utilisateurs et d’autres contenus, sur plusieurs appareils, en particulier au moyen de conversations en ligne, de publications, de vidéos et de recommandations. » d’empêcher leurs utilisateur·rices de moins de 13 ans de se créer un compte, de s’assurer que celles et ceux ayant entre 13 et 15 ans ont bien l’accord de leurs parents, et, pour les mineur·es entre 15 et 18 ans de permettre à leurs parents de suspendre a posteriori leur compte sans avoir à se justifier. Heureusement que la rapporteure du texte au Sénat a torpillé la loi en soumettant son entrée en vigueur au feu vert de la Commission européenne qui ne devrait jamais être donné⁶Dans une affaire pendante devant la Cour de justice de l’Union européenne (CJUE) concernant les obligations de modération qui s’imposent aux plateformes, l’avocat général (magistrat chargé de rentre un avis à la Cour sur l’affaire) a estimé qu’un État membre ne peut imposer à une plateforme en ligne une obligation générale qui n’est pas prévue par le droit de l’UE. Autrement dit, si la Cour suivait son avocat général (elle n’est pas obligée mais le suit malgré tout très souvent), les obligations de vérifier l’âge des internautes seraient contraires au droit de l’UE car elles constitueraient une obligation supplémentaire qui n’est pas prévue par le droit de l’UE.. En revanche, cette tentative législative montre bien que le législateur est prêt à généraliser le contrôle de l’identité en ligne, parce que pour lui la solution aux problèmes ne peut résider que dans l’interdiction : interdire le porno et les réseaux sociaux aux mineurs, voire peut-être demain également les VPN. Parce que pourquoi pas.

L’art de passer à côté du vrai problème

Sous couvert de réguler les plateformes, le gouvernement évite soigneusement de répondre au problème de l’éducation sexuelle des enfants. Encore une fois, il préfère agir sur les conséquences (l’accès aux contenus à caractère pornographique par les mineur·es) plutôt que de s’occuper du fond du problème, qui est l’échec de l’éducation sexuelle en France.

Il y a un an, le Haut Conseil à l’égalité entre les femmes et les hommes (HCE) tirait la sonnette d’alarme sur le sexisme à l’école. Il notait que, loin d’être un lieu d’éducation des enfants aux questions d’égalité de genre, l’école, au contraire, « entretient et amplifie les stéréotypes de sexe ». S’il relève également que l’accès à la pornographie peut être une des raisons de la culture du viol prégnante (bien que celle-ci ne soit pas propre aux pornographies mais se diffuse dans toutes les strates de la société), il ne préconise pas la censure des sites. Au contraire, le HCE presse les pouvoirs publics de s’attaquer à la racine du problème à l’école : les enseignements obligatoires à la sexualité ne sont pas assurés, le harcèlement, le cyberharcèlement et les violences en ligne ne sont pas traitées à la hauteur des enjeux, il n’existe pas d’obligation de justes représentation et proportion de figures féminines dans les manuels, programmes scolaires et sujets d’examen. En effet, seul·es 15 % des élèves bénéficient des trois séances d’éducation à la sexualité obligatoires pendant l’année scolaire jusqu’à la fin du lycée alors même qu’elles sont prévues dans la loi depuis 2001. Cette carence grave de l’éducation nationale a récemment conduit les associations Sidaction, Planning Familial et SOS Homophobie à saisir la justice pour faire appliquer la loi. Or, comme le rappellent ces associations, « l’éducation à la sexualité, c’est donc moins de grossesses non désirées, moins d’IST, moins de VIH, moins de violences sexistes et sexuelles, moins de discriminations et de violences LGBTIphobes, plus de consentement, plus de comportements responsables, plus d’autonomie, plus de respect de soi même et de l’autre, plus de confiance en soi, plus d’égalité entre les femmes et les hommes ». Le Défenseur des droits faisait le même constat en 2021 de la nécessité d’accompagner et d’aider les enfants au lieu de leur rajouter de nouvelles interdictions : « Il est par ailleurs nécessaire de déployer la prévention à l’école, afin de mieux protéger les enfants de l’exposition précoce à la pornographie. Il convient également de renforcer les campagnes de sensibilisation auprès des enfants, adolescents et de leurs familles (éducation à la vie affective, relationnelle et sexuelle […]) ».

En définitive, le projet de loi SREN est une énième opération de marketing électoral. Non seulement il ne résoudra rien aux problèmes qu’il prétend vouloir régler, mais en plus il signifierait la fin de l’anonymat en ligne. Cette dernière est une vieille demande de la droite française et le symptôme d’une classe politique qui ne comprend toujours pas ce qu’est Internet. Le rejet des articles 1^er et 2 du projet de loi est nécessaire. Ils ne sont pas seulement contraires aux droits fondamentaux, ils feraient sauter la digue de l’anonymat en ligne, pourtant cruciale pour beaucoup de personnes, et feraient entrer encore un peu plus la France dans le club des États autoritaires. Alors n’hésitez pas à nous aider dans notre lutte, en faisant un don à Act-Up Paris ou à La Quadrature du Net et en parlant de ces sujets autour de vous.

Il y a un peu plus d’un an, la Commission européenne proposait l’un des pires textes jamais pensés sur le numérique : le règlement CSAR, également appelé « Chat control ». Affichant l’objectif de lutter contre les abus sexuels sur les enfants, cette proposition vise en réalité à créer un outil inédit de surveillance des communications. Dès le dépôt de ce projet de règlement, partout en Europe, associations et expert·es se sont insurgé·es contre cette initiative car elle reviendrait à mettre fin au chiffrement des communications. Aujourd’hui, bien que les critiques sont aujourd’hui plus nombreuses encore, les discussions avancent rapidement à Bruxelles, laissant présager une adoption très prochaine du texte. Afin de comprendre ses enjeux et aider à renforcer la mobilisation, nous revenons sur le contenu de ce règlement qui pourrait signer la fin de toute confidentialité des échanges en ligne.

La genèse du projet

Le 11 mai 2022, la Commission européenne lâchait une bombe dans le monde du numérique en publiant sa proposition de règlement « établissant des règles en vue de prévenir et de combattre les abus sexuels sur enfants ». Dénommé « Chat control » ou « CSAR » (pour « Child sexual abuse regulation »), ce texte vise à obliger les fournisseurs de contenus en ligne à détecter des contenus d’abus sexuels de mineurs en analysant les conversations de leurs utilisateur·ices.

Cette initiative s’inspire d’outils mis en œuvre depuis plusieurs années par les grandes entreprises du web. Meta, par exemple, analyse de façon proactive l’ensemble des messages échangés sur Facebook Messenger ainsi que les données non chiffrées de Whatsapp (photos de profil ou groupe, descriptions, …) en vue de détecter des images connues d’exploitation d’enfants. En 2021, Apple annonçait mettre en place un outil d’analyse des données de ses clients hébergées sur iCloud afin de les comparer à une base de données de contenus signalés comme liés à de la pédopornographie, tout comme Microsoft qui a développé l’outil de comparaison PhotoDNA.

Dès 2020, la Commission avait commencé à laisser présager son appétence pour ce type d’outils dans sa « stratégie de lutte contre les abus sexuels commis contre les enfants » qui a débouché en 2021 sur l’adoption d’un règlement sur le sujet. Celui-ci autorisait, de façon temporaire pendant trois ans, les services de communication électronique à faire de l’analyse de contenus en vue de détecter ceux liés à ce type d’abus. Si cette possibilité était facultative et devait reposer sur leurs conditions générales, une telle inscription formelle dans la loi légitimait néanmoins les initiatives et techniques de surveillance des grandes plateformes, renforçant par là même leur pouvoir hégémonique, sans qu’aucune évaluation de la pertinence de ces méthodes ne soit par ailleurs réalisée.

Cette autorisation prend fin en 2024 et c’est pour cette raison que le CSAR a été proposé. Mais contrairement au règlement temporaire qui ne faisait que l’autoriser, ce projet de règlement impose de façon obligatoire la détection de ces contenus pédopornographiques sous certaines conditions, mettant donc fin à toute forme de confidentialité. Depuis le début des discussions il y a un an et demi, le réseau européen EDRi, dont La Quadrature du Net fait partie, a fourni un travail d’analyse considérable sur ce texte, que vous pouvez retrouver dans leur « position paper » ou, de façon plus condensée, dans leur brochure (en anglais). Nous vous résumons ici les principaux enjeux autour de ce règlement.

Le contenu du règlement

Le règlement CSAR vise à s’appliquer à un nombre très important d’acteurs. Entrent ainsi dans le champ d’application tous les « fournisseurs de services de communications interpersonnelles », c’est-à-dire les messageries en ligne telles que Signal, Whatsapp ou Telegram, les fournisseurs de mail, les applications de rencontre mais également les messageries qui ne sont qu’une fonction accessoire à d’autres services, comme dans les jeux par exemple. Rentrent également dans le champ d’application les « fournisseurs de services d’hébergement » tels que NextCloud, iCloud, DropBox ou les hébergeurs associatifs des CHATONS, les boutiques d’applications ainsi que les réseaux sociaux.

Ces fournisseurs seraient contraints à mettre en œuvre une surveillance considérable de leurs utilisateur·ices. D’une part, les articles 3 et 4 prévoient qu’ils obéissent à une obligation d’évaluer et réduire au maximum les risques de partage de contenus pédopornographiques sur les services concernés. Cela impliquerait de fournir, via une étude d’impact, des éléments sur le fonctionnement et l’usage de leur outil afin de théoriquement anticiper les risques pour identifier les mesures d’atténuation correspondantes. Les fournisseurs devraient ainsi être en capacité de donner des informations sur quel type d’utilisateur·rice (personne majeure, mineure..) utilisent leur service et quel type de contenu (vidéo, texte..) y sont échangés. Cette obligation est pourtant incompatible avec un des principes de base de respect de la vie privée sur lesquels repose le fonctionnement de nombreux services : l’absence de collecte de ce type de données personnelles. Ces prestataires seraient alors dans une position intenable car, pour se conformer à cette nouvelle réglementation, ils devront changer de modèle et commencer à recueillir des informations qu’aujourd’hui ils ne possèdent pas. Le règlement CSAR reviendrait pour eux à abandonner leur promesse de confidentialité, garantie notamment par le recours au chiffrement et l’anonymisation de données.

En outre, l’article 6 du CSAR préconise que les fournisseurs aient recours à des solutions de vérification d’âge pour remplir cet objectif de réduction des risques. Or, non seulement aucun outil viable et respectueux de la vie privée n’existe réellement à ce jour mais, surtout, le recours à ce genre de solution pose de sérieux problèmes quant à la protection de l’anonymat en ligne, comme nous le rappelions récemment dans notre analyse de la loi française SREN. Au final, le texte pousse pour privilégier la mise en place de mesures coercitives et remet frontalement en cause le droit à la vie privée.

D’autre part, ces acteurs auront l’obligation de répondre à toute « injonction de détection » émise par un juge ou une autorité administrative. Ainsi, les articles 7 à 11 prévoient que, s’il existe « un risque important que le service soit utilisé à des fins d’abus sexuels sur enfants en ligne », les fournisseurs pourront se voir obligés d’installer au cœur même de leur application ou infrastructure des outils leur permettant de scanner les données qui y transitent, afin d’y détecter de potentiels contenus liés aux abus sexuels d’enfants.

Plus précisément les fournisseurs devront repérer trois types de données :

• Des contenus « connus » c’est-à-dire des images ou des vidéos déjà répertoriées par les autorités comme liées à de la pédopornographie ou des abus sexuels d’enfants.
• Des contenus « inconnus » c’est-à-dire des photos ou vidéos susceptibles de constituer de la pédopornographie, mais qui n’auraient pas été identifiées comme telles. Pour trouver ces contenus, les services devront utiliser des outils fondés sur de l’intelligence artificielle qui identifieront des corrélations entre les contenus partagés et des indicateurs prédéfinis (par exemple de la peau nue).
• Des activités consistant à solliciter des enfants (appelé « pédopiégeage »). Il s’agit de détecter des comportements « types » de personnes qui rentrent en contact avec des enfants, à nouveau à partir de modèles statistiques et probabilistes fondés sur de l’intelligence artificielle.

Concrètement, il s’agira de mettre en œuvre une technique de « client side scanning » (littéralement « analyse côté client »), c’est-à-dire analyser directement sur les appareils des utilisateur·ices les données qui y transitent. Lorsqu’un internaute enverra un message ou postera une publication via un des services concernés par une injonction, ce contenu sera analysé avant envoi. Plus précisément, ce sont des « hash », c’est-à-dire des empreintes numériques liées aux images, qui seront examinées. Ce hash sera alors comparé à une base de données déjà constituée de contenus relatifs à des abus sexuels d’enfants. Si le hash correspond avec une photo de la base, une alerte est déclenchée. Dans le cas contraire, cela signifie que le contenu doit être qualifié d’« inconnu » et un outil d’analyse supplémentaire vérifiera alors s’il existe des corrélations ou similitudes avec des contenus d’abus sexuels pour déclencher une alerte le cas échéant.

Le cheval de Troie de la Commission : vers la fin du chiffrement

En affichant l’objectif de protéger les enfants, l’Union européenne tente en réalité d’introduire une capacité de contrôle gigantesque de l’ensemble des vies numériques, concrétisant le rêve de surveillance de tout gouvernement. Ce texte a fait l’objet de tant de réactions qu’EDRi se demande si le CSAR ne serait pas la loi européenne la plus critiquée de tous les temps. Les critiques contre ce texte viennent des institutions européennes elles-mêmes, mais aussi d’organisations de défense des enfants en passant par les acteurs de la tech, ainsi que de scientifiques et chercheur·es où 465 d’entre eux ont signé une lettre contre cette proposition. Et à raison.

Sur le plan technique, il faut comprendre que les injonctions de détections obligent les fournisseurs à analyser toutes les communications de l’ensemble des utilisateur·ices des services concernés. Et puisque les messages sont alors analysés avant d’être envoyés à leurs destinataires, cela supprime non seulement toute confidentialité mais cela rendra également inutile toute technique de chiffrement appliquée ultérieurement, c’est-à-dire une fois que le message à quitté l’appareil de l’utilisateur·ice. L’objectif premier du chiffrement est d’empêcher un tiers de lire le message. Le CSAR vise pourtant précisément à permettre une telle lecture tierce. De même, la recherche de photo ou vidéo « inconnue » est totalement inacceptable. En pratique, le risque de « faux positifs » est énorme et cela signifie que pourraient faire l’objet d’une alerte des contenus tout à fait légitimes tels le corps d’adulte d’apparence trop juvénile, une photo d’enfant envoyée dans un cadre familial ou encore des ados échangeant de façon consentante.

Enfin, appliqué au cas particulier de la détection de contenus pédopornographiques, envisager la constitution et l’utilisation d’une telle base de données ne prend pas en compte la réalité des humains devant la manipuler, l’alimenter, et qui seront confrontés à des contenus difficiles quotidiennement. Sans parler du fait que les images des enfants victimes seront conservées pour « améliorer » l’efficacité de ces outils.

Non seulement le CSAR crée des obligations disproportionnées et implique des techniques extrêmement intrusives, mais surtout ces mesures sont loin d’être pertinentes pour atteindre l’objectif crucial de protection des enfants et de lutte contre les abus sexuels. En effet, aucune étude sérieuse n’a été fournie sur l’adéquation, la fiabilité ou la pertinence de telles mesures extrêmement intrusives. Au contraire, il a été révélé par l’association allemande Gesellschaft für Freiheitsrechte que la Commission fondait sa proposition sur les seules allégations de l’industrie, particulièrement la fondation Thorn et Meta, pour justifier ce projet de règlement. Des institutions policières et judiciaires, comme en Allemagne par exemple, ont elles aussi exprimé leurs réserves sur l’utilité de ces dispositifs pour leurs enquêtes dès lors que cela ne répond pas aux problématiques qu’ils rencontrent au quotidien.

Par ailleurs, depuis le début de la campagne contre ce texte, beaucoup de ressources ont été produites pour démontrer que la protection des enfants contre les abus passait principalement par des politiques de prévention ou d’éducation et que toute éventuelle réponse pénale devait être encadrée par des mesures ciblées et fondées sur des preuves tangibles. Comment a-t-on pu alors en arriver là ?

La tentation autoritaire des États

Cette proposition législative est une solution largement conçue par l’industrie, et ensuite généralisée par les élites politiques qui illustrent ainsi une nouvelle fois leur absurde propension au « solutionnisme technologique » et au renforcement de la surveillance numérique. Pour rendre acceptable ces mesures de surveillance, elles affichent un objectif qui fait l’unanimité. Mais tout le monde sait que la stratégie consiste avant tout à affaiblir le niveau de sécurité et de confidentialité des communications numériques. Depuis les crypto-wars des années 1990, un certain nombre d’États affirment que les technologies protégeant la vie privée, et principalement le chiffrement des communications, sont un obstacle aux enquêtes policières. De fait, ces technologies sont conçues pour cela, puisque c’est à cette condition qu’elle garantissent à toutes et tous la possibilité de contrôler nos modes d’expression et de communication. L’une des plus importantes conséquences des révélations du lanceur d’alerte de la NSA Edward Snowden, il y a dix ans, fut justement une démocratisation de la pratique du chiffrement et, à l’époque, l’établissement d’un relatif consensus en faveur du droit au chiffrement au plan institutionnel. Mais police et gouvernements sont gênés, et l’on assiste depuis plusieurs années au retour de positionnements autoritaires de dirigeants prenant tour à tour l’excuse du terrorisme, de la criminalité organisée et de la pédopornographie pour obtenir sa remise en cause.

En France, aussi bien Bernard Cazeneuve qu’Emmanuel Macron ont déjà affirmé leur volonté de contrôler les messageries chiffrées, rêvant ainsi de percer l’intimité des millions de personnes qui les utilisent. Au cours d’une audition devant le Sénat le 5 avril dernier, Gérald Darmanin a expressément demandé pouvoir casser le chiffrement des militant·es écologistes et de « l’ultragauche », qui auraient une « culture du clandestin ». Aussi avons-nous récemment exposé comment, dans l’affaire dite du « 8 décembre », les services de renseignement et de police ont construit une narration similaire autour de l’utilisation d’outils respectueux de la vie privée par les personnes inculpées (Signal, Tor, Tails…), afin de dessiner le portrait de personnes criminelles ayant des choses à cacher ou la volonté de fuir la police. Au niveau européen, des fuites ont révélé l’intention de plusieurs États de réduire le niveau de sécurité du chiffrement de bout-en-bout, tels que l’Espagne qui veut tout simplement y mettre fin.

Le règlement CSAR s’inscrit dans cette continuité et constitue une opportunité parfaite pour les États membres pour enfin concevoir et généraliser un outil de surveillance des échanges de la population et ainsi mettre fin aux obstacles posés par les services trop protecteurs de la vie privée. Mais passer ce cap, c’est supprimer toute confidentialité des communications qui passeraient par des infrastructures numériques. L’intégrité et la sécurité de ces dernières ne pourraient alors plus jamais être garanties dès lors que cette « porte dérobée » existe. C’est créer des occasions, aussi bien pour les États que les acteurs malveillants, de détourner et d’abuser de cette capacité d’entrer dans les téléphones et ordinateurs de la population. Enfin, c’est ouvrir une brèche, un espace à surveiller qui n’existait pas auparavant, et qui sera nécessairement étendu dans le futur par de nouvelles législations pour repérer d’autres types de contenus.

Ce risque est dénoncé par des services tels que Signal, Proton ou Matrix, qui proposent des communications chiffrées de bout-en-bout et sécurisées — et promettent donc une confidentialité presque intégrale. Cette proposition viendrait casser leur promesse en les obligeant à analyser les contenus et à créer une vulnérabilité dans leurs technologies. Ce risque a également été récemment dénoncé par Apple : pour justifier la fin de l’analyse des contenus hébergés sur iCloud, l’entreprise expliquait que la technologie utilisée est trop dangereuse en termes de sécurité et de respect de la vie privée¹Néanmoins, il faut relativiser cette prise de position dès lors que la firme continue d’expérimenter une technologie similaire dans une fonction facultative dénommée « Communication Safety » qui recherche de la nudité directement sur les terminaux..

En Grande-Bretagne, où est actuellement discuté un projet de loi similaire, le Online Safety Bill, Signal et Whatsapp ont menacé de supprimer leur service du pays si ce texte venait à passer. Face à cette fronde, les Britanniques ont très récemment annoncé suspendre la mise en œuvre de cette mesure au regard de l’infaisabilité à ce stade de protéger le chiffrement de bout-en-bout. Cependant, la mesure est toujours dans la loi et pourrait donc être applicable un jour. À Londres comme à Bruxelles, la bataille est loin d’être finie.

Refuser et agir

Il est donc urgent d’agir pour arrêter cette nouvelle initiative qui créerait un grave précédent et donnerait aux États une légitimité pour pousser toujours plus loin l’intrusion dans les communications. Mais les discussions avancent vite à Bruxelles. D’un coté, le Conseil, organe regroupant les gouvernements des États membres, doit publier sa position sur ce texte d’ici fin septembre. Celle-ci s’annonce très mauvaise, poussée par plusieurs États – France en tête. Certains États comme l’Allemagne ou l’Autriche auraient néanmoins exprimé des réserves quand à l’incompatibilité de cette dernière version par rapport à leur propre position officielle. Une lettre ouverte a été signée le 13 septembre par plus de 80 organisations, dont La Quadrature, pour que les États membres n’adoptent pas le CSAR dans sa version actuelle.

De l’autre coté, le Parlement européen devra également adopter sa version du texte, d’abord en commission en octobre puis en novembre en séance plénière. Si beaucoup d’eurodéputé·es s’opposent au texte, cela ne suffira sans doute pas à bloquer son adoption. Pour agir, nous vous invitons à rejoindre la campagne « Stop Scanning me » menée par une coalition d’organisations et à partager le plus possible les informations sur la mobilisation en cours²Aussi, vous pouvez regarder cette conférence faite au dernier Chaos Communication Camp sur le combat contre Chat control (en anglais).. Vous pouvez également appeler des parlementaires européens pour les inviter à rejeter ce texte.

Et si vous le pouvez n’hésitez pas à faire un don à La Quadrature ou à EDRi qui agit à Bruxelles. Merci !

Aujourd’hui, nous sommes heureux de vous annoncer l’organisation par le collectif Technopolice Marseille de la deuxième édition du Festival Technopolice qui aura lieu du 28 septembre au 1er octobre 2023 à Marseille, avec le soutien de La Quadrature du Net.

Dans un contexte de répression des mouvements populaires, le recours aux technologies de surveillance de l’espace public se normalise sous prétexte de sécurité, tandis que la violence policière continue de s’accroître en France. En vue des Jeux Olympiques 2024, une loi légalisant la vidéosurveillance algorithmique (VSA) a été adoptée malgré de nombreuses oppositions (voir notamment ici et ici), faisant de la France le premier pays de l’Union Européenne à légaliser la surveillance biométrique de l’espace public.

Il y a 4 ans, La Quadrature du Net, association de défense des libertés numériques, lançait l’initiative Technopolice avec le soutien d’une vingtaine d’associations, pour recenser et contrer les nouvelles technologies de surveillance policières dans nos villes. Le collectif Technopolice Marseille commençait alors à s’organiser localement avec des conférences, expositions artistiques, cartographies de caméras et actions de rue contre le dispositif de surveillance de la ville. En 2022, nous organisions la première édition du festival Technopolice à Marseille et y lancions notre plainte collective contre la vidéosurveillance, le fichage de masse et la reconnaissance faciale de l’État. Pour cette deuxième édition, nous souhaitons dénoncer le rôle de ces technologies, qui donnent davantage de pouvoir à une police toujours plus répressive,

Face à la mise en place de la surveillance totale de l’espace public, il est urgent de résister et d’agir pour nos futurs désirables. À travers des films, des débats et des ateliers, en entrée libre, cette 2ème édition du festival vous invite à une réflexion collective.

Retrouvez le programme du festival sur technopolice.fr/festival-2023.

Au Garage cette semaine, on a publié un gros article sur la loi SREN (on en reparlera la semaine prochaine) et on vous propose pour les quinze jours qui viennent un agenda rempli de rendez-vous :
– trois rencontres avec Félix Tréguer, membre fondateur de l’association, qui présentera son livre Contre-histoire d’Internet dans des librairies de Marseille, Nice et Paris,
– deux soirées de soutien aux inculpé·es du « 8 décembre » à Nantes et à Pantin ainsi qu’un évènement organisé à Paris par La Quadrature et d’autres collectifs pour revenir sur cette affaire et débattre de la manière dont le chiffrement a été criminalisé par les services de renseignement et la justice,
– une rencontre à Lyon pour parler également du « 8 décembre » et du secret des communications,
– une rencontre à Bruxelles pour parler de la surveillance et de la défense du chiffrement avec nos partenaires européens,
– la deuxième édition du Festival Technopolice à Marseille, avec films et débats,
– et un apéro public dans nos locaux parisiens le vendredi 29 septembre : on vous attend pour parler de tout ça !

Alex, Bastien, Marne, Mathieu, Myriam, Noémie et Nono

Agenda du 15 septembre au 6 octobre 2023

• 15 septembre : rencontre avec Félix Tréguer à 19h à la librairie Les Parleuses à Nice (18 rue Defly, 5 pl. du Général Georges Marshall) dans le cadre de la parution de son livre Contre-histoire d’Internet aux éditions Agone.
• 16 septembre : La Quadrature du Net sera à Lyon dans le cadre du Festival « Techxploitation, pour un usage critique des technologies » — pour une discussion sur la criminilasiation du chiffrement et la confidentialité des échanges. Plus d’infos sur le festival : https://amicale.online/du-14-09-au-17-09-techxploitation-pour-un-usage-critique-des-technologies-2
• 17 septembre : soirée de soutien aux inculpé·es du « 8 décembre » à La Cocotte à Nantes (Île de Versailles) à partir de 19h30, toutes les informations ici : https://contre-attaque.net/2023/09/11/qui-terrorise-qui-soiree-de-soutien-a-nantes-dimanche-17-septembre/.
• 23 septembre : soirée de soutien aux inculpé·es du « 8 décembre » à La Trotteuse à Pantin (61 rue Charles Nodier) — discussion à 16h avec L’Envolée et La Quadrature du Net, puis grand concert à partir de 18h jusqu’à minuit : https://www.agendamilitant.org/Concert-de-soutien-aux-inculpee-es-du-8-12.html.
• 25 septembre : discussion « Affaire du « 8 décembre » : antiterrorisme et criminalisation du chiffrement » à la Bourse du Travail à Paris (29 boulevard du Temple, 75003) — à partir de 19h avec La Quadrature du Net, le SNJ, Nothing to Hide et les avocats des inculpé·es.



• 26 septembre : La Quadrature participera à une discussion sur le chiffrement et la surveillance organisée par EDRi à partir de 16h30 à Bruxelles (lieu à préciser) : https://edri.org/take-action/events/save-the-date-join-edri-to-talk-encryption-surveillance-and-privacy/.
• du 28 septembre au 1er octobre : deuxième édition du Festival Technopolice à Marseille ! Films, ateliers et débats, toutes les infos ici : https://technopolice.fr/festival-2023/.
• 28 septembre : rencontre avec Félix Tréguer à 18h à la librairie L’Hydre aux mille têtes à Marseille (96 rue Saint-Savournin, 13001) dans le cadre de la parution de son livre Contre-histoire d’Internet aux éditions Agone.
• 29 septembre : apéro mensuel au Garage (115 rue de Ménilmontant, 75020 Paris) à partir de 19h : apportez un petit truc à manger ou à boire si vous pouvez et venez discuter avec nous !
• 6 octobre : rencontre avec Félix Tréguer à 19h à la librairie Le Monte-en-l’air à Paris (2 rue de la Mare, 75020) dans le cadre de la parution de son livre Contre-histoire d’Internet aux éditions Agone.

Le projet de loi visant à sécuriser et réguler l’espace numérique (aussi appelé « SREN » ou « Espace numérique ») est actuellement en discussion à l’Assemblée nationale, après avoir été voté en juillet dernier au Sénat. Ce texte, présenté comme une simple adaptation d’une série de règlements européens, change en réalité la manière de concevoir la régulation des plateformes en ligne. En voulant instaurer une censure autoritaire et extra-judiciaire, en voulant mettre fin à l’anonymat en ligne et en répétant les erreurs déjà commises avec la loi Avia, le gouvernement fait une nouvelle fois fausse route. Ce projet de loi étant très dense, commençons par une présentation générale des éléments importants du texte (nous reviendrons plus tard en détails sur certains points avec des articles dédiés).

L’accès au porno, prétexte pour mettre fin à l’anonymat

Les articles 1^er et 2 du projet de loi renforcent l’obligation pour les sites pornographiques de vérifier l’âge de leurs utilisateurs. Pour rappel, depuis une proposition de loi issue de la majorité présidentielle en 2020, les sites proposant du contenu pornographique doivent vérifier l’âge des internautes, une simple case à cocher auto-déclarative ne suffisant pas. En cas de non-respect, une peine de censure peut être prononcée par un juge. Nous dénoncions à l’époque un tel principe d’obliger les personnes à justifier de leur âge, qui passe nécessairement par une mise à mal de l’anonymat en ligne.

Mais en réalité, cette loi de 2020 n’a pas vraiment changé les choses : les sites pornographiques continuent d’afficher un bouton pour que l’internaute déclare sur l’honneur avoir plus de 18 ans, et très peu de censures ont été prononcées par la justice. Pour la simple raison que personne, ni les plateformes, ni le gouvernement, ni la CNIL ne savent comment effectuer cette vérification de l’âge d’une manière qui soit simple techniquement et respectueuse de la vie privée des personnes. Le laboratoire de prospective de la CNIL, le LINC, suggère une solution passant par un tiers de confiance, c’est-à-dire une autorité chargée de délivrer à l’internaute un certificat (un jeton, ou « token ») confirmant qu’il est bien majeur, sans que ce tiers ne connaisse le service réclamant ce certificat. Mais, d’une part, cette solution implique que le tiers de confiance pourra facilement déduire que, quand une personne lui demandera une « preuve de majorité », l’objectif sera de consulter un site pornographique. D’autre part, ce mécanisme du tiers de confiance impose l’utilisation d’une identité numérique d’État, aujourd’hui théoriquement facultative, qui deviendra alors encore plus obligatoire de fait.

Malgré ces obstacles pratiques et en dépit de l’absence de solution viable décidée conjointement par les institutions et les experts techniques, le gouvernement persiste. Mécontent d’une justice qui, à son goût, ne censure pas assez les sites pornographiques, il propose tout simplement de la contourner : le projet de loi SREN passe d’une censure judiciaire des sites ne vérifiant pas l’âge de leurs internautes à une censure administrative, c’est-à-dire extra-judiciaire. Ce n’est donc qu’une fois la censure décidée qu’un juge vérifiera sa légalité. L’Arcom, autorité née de la fusion entre la Hadopi et le CSA, sera chargée de prononcer la censure d’un site pornographique qui ne vérifierait pas l’âge des internautes. Cet entêtement à vouloir fliquer les internautes est d’autant plus surprenant que même la Grande-Bretagne, pourtant pionnière dans la censure des sites pornographiques et source d’inspiration du gouvernement, a abandonné en 2019 un dispositif similaire, faute de solution technique satisfaisante. Très récemment encore, l’Australie a abandonné un tel mécanisme de vérification d’âge et le Texas a été obligé de suspendre une loi similaire parce que la justice américaine a considéré cette loi contraire à la liberté d’expression.

Le retour de la censure obligatoire en 24 heures

L’article 3 du projet de loi renforce les obligations de retrait des contenus à caractère pédopornographique pesant sur les hébergeurs de sites internet. Aujourd’hui, la loi impose que ces derniers doivent retirer ces contenus en 24 heures sur demande de la police, mais il n’y a pas de sanction spécifique en cas d’absence de retrait (seule la responsabilité des hébergeurs pourra être retenue, mais elle s’apprécie en fonction des capacités des plateformes, de la gravité du contenu, de la difficulté à contrôler la légalité de la demande, etc.). La nouveauté du projet de loi réside dans le fait que l’absence de retrait une fois passé le délai de 24 heures constitue automatiquement un délit, sans que ne soient examinées les potentielles raisons ou explications de cette absence d’action. Dès lors, la menace d’une répression systématique accentue le joug de l’État sur ces hébergeurs et renforce le principe de la censure administrative qui est déjà, en soi, un danger pour la liberté d’expression en ligne (voir par exemple ce que nous disions il y a 13 ans à propos de la LOPPSI).

Mais surtout, il est très probable que, par crainte d’une sanction, les hébergeurs préfèrent retirer trop de contenus, quitte à se tromper. C’est exactement ce que voulait la loi Avia qui imposait des délais fixes pour retirer des contenus haineux ou à caractère terroriste. Nous dénoncions alors le risque de surcensure que ce mécanisme impliquait, tout comme le Conseil constitutionnel lorsqu’il a déclaré cette loi contraire à la Constitution.

Malgré cela, le gouvernement ne cache pas vraiment ses intentions de censure généralisée. Dans l’étude d’impact du projet de loi, il explique que l’objectif de l’article 3 est d’« aligner » les régimes de censure administrative sur celui du terrorisme. En effet, après la censure de la loi Avia, la France s’est empressée de pousser un règlement européen qui oblige aujourd’hui les hébergeurs à retirer les contenus à caractère terroristes sous peine de lourdes sanctions pénales, par un mécanisme similaire à feue la loi Avia. Par cet article 3 qui introduit des sanctions similaires pour les contenus pédopornographiques, le gouvernement organise donc le retour masqué de la loi Avia.

Le bannissement des réseaux sociaux, un coup d’épée dans l’eau

Pour lutter contre le harcèlement en ligne, le gouvernement n’envisage pas de donner les moyens humains et financiers à la justice pour faire son travail. À l’inverse, l’article 5 du projet de loi préfère miser sur un réflexe disciplinaire, en créant une peine complémentaire d’interdiction de réseaux sociaux pour les personnes qui seraient condamnées pour harcèlement : sur décision de justice, les plateformes en ligne devront suspendre les comptes détenus par les personnes condamnées et les empêcher de se créer un nouveau compte. Mais comment s’assurer qu’une personne condamnée ne se recrée pas un compte ? Le projet de loi est parfaitement silencieux sur ce point. On peut en revanche légitimement craindre que cette nouveauté ouvre la voie à la généralisation du contrôle d’identité en ligne, afin de s’assurer que l’internaute voulant se créer un compte ne sera pas sur la liste des personnes interdites de réseaux sociaux.

Cette peine d’interdiction des réseaux sociaux et la généralisation de la vérification d’identité qu’elle risque d’induire s’inscrivent dans la même ligne que la récente loi visant à instaurer une majorité numérique et à lutter contre la haine en ligne, adoptée il y a quelques mois. Issue d’une proposition de loi du groupe Horizons, elle instaure une interdiction pour les mineur·es de moins de 13 ans de se créer un compte en ligne, impose à celles et ceux entre 13 et 15 ans d’obtenir l’accord de leurs parents, et permet aux parents d’adolescent·es ayant entre 15 et 18 ans de suspendre leurs comptes jusqu’à leur majorité. Or, ces règles ne peuvent être respectées qu’en vérifiant l’identité de toute personne voulant s’inscrire sur un réseau social.

Cette « majorité numérique » semble non seulement impossible à mettre en œuvre sans atteinte excessive au droit à l’anonymat en ligne, mais également contraire au droit de l’Union européenne. Cette situation inconfortable a poussé le législateur à soumettre, à la toute fin du processus législatif, l’entrée en vigueur de ce texte à une décision de la Commission européenne sur la conformité au droit de l’UE de ce mécanisme.

Pour autant, cela ne rebute toujours pas le gouvernement, qui continue avec le projet de loi SREN et son idée de bannissement des réseaux sociaux. Le Sénat est même allé plus loin : le rapporteur du texte à la chambre haute, Loïc Hervé, a introduit de nouvelles dispositions pour que ce bannissement des réseaux sociaux puisse être prononcé par un juge d’application des peines, voire par un procureur de la République via une composition pénale¹Procédure pénale où procureur et personne mise en cause s’accordent sur une peine puis la font valider par un tribunal..

La censure administrative par le navigateur

Autre surprise du texte : le gouvernement propose une nouvelle manière de faire de la censure administrative, en passant par un blocage des contenus au niveau des navigateurs web. Sous couvert de proposer un filtre « anti-arnaques », l’article 6 du projet de loi impose non seulement aux fournisseurs d’accès à Internet (FAI) et aux fournisseurs de systèmes de résolution de noms de domaine (c’est-à-dire les fournisseurs de DNS alternatifs autres que ceux des FAI) de censurer certaines ressources en ligne que la police aurait identifiées comme étant des « arnaques », mais oblige également les navigateurs web à procéder à une telle censure.

Autrement dit, si demain la police repère un site de phishing, elle pourra imposer à l’éditeur de votre navigateur préféré de procéder à son blocage pur et simple. Et peu importe s’il s’avère que la demande est erronée ou abusive. Peu importe aussi si cela ouvre grand la porte à des censures d’un autre genre, politiques par exemple. Bien évidemment, la fondation Mozilla, qui édite le navigateur Firefox, est vent debout contre cette obligation. Nous vous invitons d’ailleurs à signer leur pétition et à la faire circuler largement.

Et peut-être d’autres mesures autoritaires à venir

Ces quelques articles de ce projet de loi sont déjà très inquiétants, au regard de la mise à mal de l’anonymat en ligne, de l’atteinte à la liberté d’expression et de la négation du droit à la vie privée qu’ils instaurent. Mais ce projet de loi risque encore de s’aggraver au cours des discussions.

En juillet dernier, la réponse du gouvernement et de ses soutiens a été de pointer les réseaux sociaux comme responsables des révoltes en France, pour mieux passer sous silence le malaise social grandissant. À cette occasion, le député Renaissance Paul Midy, rapporteur général de ce projet de loi SREN, avait déjà annoncé qu’il était favorable à l’obligation de justifier de son identité civile avant de pouvoir s’inscrire sur une plateforme en ligne, emboîtant ainsi le pas d’Emmanuel Macron. Cette marotte de la droite française pourrait bien se concrétiser avec ce texte. Suite aux violences estivales, un « groupe de travail » interparlementaire s’est déjà réuni trois fois cet été pour réfléchir à une « évolution législative » de l’encadrement des réseaux sociaux. Seraient pour l’instant envisagées des restrictions temporaires de la géolocalisation ou l’obligation pour les plateformes de conserver les messages éphémères qui y sont échangés.

De plus, tout le monde au gouvernement veut maintenant son petit bout de censure. En réponse à la polémique née autour d’un site de rencontres pour jeunes enfants et adolescents devenu le terrain de chasse de pédophiles, la secrétaire d’État en charge de l’Enfance Charlotte Caubel s’imagine déjà censurer ce type de site. Mais comme la loi instaurant une majorité numérique, qui obligerait à vérifier l’identité de toute personne, n’est pas encore en vigueur, elle pourrait bien profiter de ce projet de loi SREN pour pousser ses idées de censure.

Une grande absente : l’obligation d’interopérabilité des réseaux sociaux

Finalement, il n’est pas surprenant que l’idée d’une interopérabilité obligatoire des réseaux sociaux ne figure pas dans ce projet de loi : il s’agit d’une manière radicalement différente de celle du gouvernement de réguler les contenus en ligne. L’obligation d’interopérabilité des réseaux sociaux consiste à imposer aux grandes plateformes d’ouvrir leurs communautés à d’autres réseaux sociaux. Concrètement, avec une telle obligation, les utilisateur·rices de Mastodon seraient capables de discuter avec leurs contacts restés sur Facebook. Autrement dit : les internautes pourraient partir d’un réseau social dangereux (car il marchanderait la vie privée de ses utilisateur·rices et/ou mettrait en avant des contenus problématiques) sans se couper de leurs ami·es qui y resteraient.

L’obligation d’interopérabilité des réseaux sociaux remettrait largement en question le modèle économique des géants actuels. Celui-ci repose en effet sur le non-respect structurel du droit des données personnelles et la mise en avant algorithmique de contenus haineux. En faisant réagir, ces réseaux sociaux commerciaux gardent les internautes plus longtemps sur la plateforme, augmentant ainsi les revenus publicitaires. En permettant aux internautes de partir d’un Twitter aux mains d’un milliardaire aux choix erratiques et qui met en avant l’extrême-droite ou d’un Meta régulièrement condamné pour ne pas respecter le droit des données personnelles, l’obligation d’interopérabilité de ces plateformes les pousseraient à s’adapter face à la concurrence plus éthique des réseaux sociaux décentralisés. Sans passer par une censure verticale des contenus problématiques en ligne, l’interopérabilité des réseaux sociaux, si elle est obligatoire, permettrait qu’ils ne soient plus mis en avant, et donc de réduire leur impact sur les sociétés.

Ce projet de loi, en ne s’intéressant pas à la question de l’interopérabilité, passe d’autant plus à côté du vrai sujet que les géants du numérique, eux, commencent à s’intéresser à cette question. Cet été, Meta a lancé son concurrent à Twitter, Threads, et a annoncé que son service serait interopérable, notamment avec le reste du fédivers. L’absence d’autorité capable de réguler les ardeurs des géants comme Meta crée alors un danger immédiat pour le fédivers (voir notre explication). Il est aujourd’hui crucial d’empêcher un aussi grand acteur que Meta de prendre ce qui l’intéresse dans l’écosystème des réseaux sociaux interopérables sans donner en retour. Alors que le Digital Markets Act, règlement européen voulant réguler les plateformes, avait un temps envisagé d’instaurer une telle obligation d’interopérabilité des réseaux sociaux, la France était parvenue en bout de course législative à supprimer une telle obligation. On ne peut que déplorer cette stratégie d’ignorer la question de l’interopérabilité des réseaux sociaux.

S’il fallait résumer le projet de loi SREN, nous pourrions le présenter comme l’exemple parfait de ce qu’il ne faut pas faire. Réguler par la censure, l’autoritarisme et les atteintes massives aux droits fondamentaux n’est pas la bonne solution. Il existe pourtant d’autres manières de faire, notamment en passant par l’obligation d’interopérabilité des réseaux sociaux. Nous reviendrons plus en détails sur certaines des dispositions que nous venons de présenter. En attendant, vous pouvez nous aider à continuer de défendre un Internet respectueux des personnes en nous faisant un don.

La VSA marseillaise fait de la résistance

Voilà trois ans déjà que nous agissons contre l’installation à Marseille de caméras de surveillance « augmentées », dont les images sont analysées en direct par des algorithmes de reconnaissance des comportements. Le recours que nous avions déposé devant le tribunal administratif de Marseille a été rejeté le 2 juin dernier, pour un défaut de procédure : le tribunal a donc avalisé la stratégie de la mairie, constante malgré un changement de majorité en 2020, qui prétendait avoir « suspendu » le déploiement de ces caméras, sans pour autant s’empêcher d’utiliser celles qui étaient déjà installées… Puisque les caméras algorithmiques sont « suspendues », alors le recours n’avait plus lieu d’être, a tranché le tribunal sans chercher plus loin.

Ce faisant, le tribunal a évité de se pencher sur le fond de la question, alors que la CNIL et le Conseil d’État ont clairement énoncé l’illégalité de la vidéosurveillance algorithmique (VSA). Nous avons donc fait appel devant la cour administrative d’appel de Marseille.

Lire l’article entier : https://www.laquadrature.net/2023/08/30/la-justice-refuse-de-sanctionner-la-videosurveillance-algorithmique-marseillaise/

Le député Philippe Latombe en porte-à-faux entre la CNIL et l’AN2V

Le mardi 5 septembre nous avons publié sur TwiX et sur notre compte Mastodon une lettre adressée à Marie-Laure Denis, présidente de la CNIL, pour attirer son attention sur les liens très étroits qu’entretient Philippe Latombe, député (Modem) et tout nouveau membre de la CNIL, avec l’industrie de la vidéosurveillance et son principal lobby, l’AN2V.

Nous avons récemment documenté cette connivence entre le député et les tenants économiques de la surveillance généralisée. Au moment où la CNIL devait se prononcer sur les expériences de vidéosurveillance automatisée dans le cadre des JO de Paris 2024 (les décrets d’application de la « loi JO » étaient alors en préparation), le député-membre de la CNIL n’a pas hésité à inviter un parterre conquis à intégrer l’intelligence artificielle « sur tous les domaines qui pourront être utilisés », s’engageant de son coté à tout faire pour « élargir l’utilisation des drones malgré la réserve du Conseil constitutionnel ». Le mélange des genres est total : tout à la fois député, lobbyiste et commissaire, chacun de ses avatars servant les deux autres, M. Latombe se place de lui-même en flagrante position de conflit d’intérêts.

Il ne se gêne d’ailleurs pas pour expliquer devant l’AN2V comment manœuvrer la CNIL, dont il est bien placé pour connaître les logiques internes, et suggérer dans quel sens il faudrait modifier le collège des membres pour l’orienter vers une vision moins soucieuse du droit et plus sensible aux attentes du monde économique. À nos yeux, cette confusion des rôles n’est pas seulement choquante, elle est contraire à toutes les dispositions qui régissent la conduite déontologique de la CNIL pour assurer l’indépendance d’esprit de ses membres. Nous les rappelons donc dans notre courrier, pour soumettre l’ensemble de la situation à sa présidente, garante de l’indépendance et de la crédibilité de la Commission.

La Quadrature dans les médias

Philippe Latombe et la CNIL

• Vidéosurveillance : mis en cause par La Quadrature du Net, le député Philippe Latombe se défend de tout conflit d’intérêts — https://www.usine-digitale.fr/article/videosurveillance-mis-en-cause-par-la-quadrature-du-net-le-depute-philippe-latombe-se-defend-de-tout-conflit-d-interets.N2167592 [L’Usine Digitale]
• Vidéosurveillance : la Quadrature du Net met en cause le commissaire Latombe — https://www.zdnet.fr/actualites/videosurveillance-la-quadrature-du-net-met-en-cause-le-commissaire-latombe-39961172.htm [ZDNet]

VSA et JO

• Caméras intelligentes pendant les JO de Paris : « Les personnes vont être utilisées comme des cobayes », déplore la Quadrature du Net — https://www.01net.com/actualites/cameras-dopees-aux-algorithmes-pendant-les-jo-de-paris-vers-un-recours-systematique.html [01Net]
• France’s Surveillance Plans For 2024 Olympics Raise Privacy Concerns — https://www.forbes.com/sites/federicoguerrini/2023/09/06/frances-surveillance-plans-for-2024-olympics-raise-privacy-concerns/?sh=1170adf09541 [Forbes]

Divers

• Digital Services Act : « On traite les symptômes sans mettre en cause le fonctionnement des grandes plateformes » — https://www.humanite.fr/social-et-economie/digital-service-act/digital-services-act-on-traite-les-symptomes-sans-mettre-en-cause-le-fonctionnement-des-grandes-plateformes [L’Humanité]
• Un projet de loi pour renforcer la censure du web : « Une perspective inquiétante pour la liberté d’expression » — https://basta.media/Un-projet-de-loi-pour-renforcer-la-censure-du-web-Une-perspective-inquietante-pour-la-liberte-d-expression [Basta!]
• Enfants et écrans : « La clé est une utilisation plus vertueuse, plus rationnelle des outils numériques » — https://leclaireur.fnac.com/article/340290-enfants-et-ecrans-la-cle-est-une-utilisation-plus-vertueuse-plus-rationnelle-des-outils-numeriques/ [L’Éclaireur FNAC]

Agenda

• 14 septembre : La Quadrature donne à 19h une conférence à la Bibliothèque publique d’information (BPI) du Centre Pompidou : « Tout savoir sur la surveillance biométrique ». Plus d’infos : https://agenda.bpi.fr/evenement/tout-savoir-sur-la-surveillance-biometrique/.
• 14 septembre : causerie mensuelle Technopolice Marseille. C’est à 19h au Manifesten, 59 Rue Adolphe Thiers, Marseille.
• 16 septembre : La Quadrature du Net sera à Lyon pour le Festival Techxploitation – pour un usage critique des technologies – pour une discussion sur les menaces sur le chiffrement et la confidentialité des échanges. Plus d’infos sur le Festival : https://amicale.online/du-14-09-au-17-09-techxploitation-pour-un-usage-critique-des-technologies/.
• du 28 septembre au 1er octobre : Festival Technopolice Marseille, 2e édition. Toutes les infos ici : https://technopolice.fr/festival-2023/.
• 29 septembre : apéro mensuel au Garage (115 rue de Ménilmontant 75020 Paris) à partir de 19h : apportez un petit truc à manger ou à boire si vous pouvez et venez discuter avec nous !

Mouchards partout : le contrôle à distance des appareils numériques est légalisé

C’est une pratique de police judiciaire et des services de renseignement : retourner un téléphone contre son utilisateur, pour en faire une balise GPS ou un micro, voire une caméra espion. Une pratique banalisée par les fictions télévisées, qui la présentent à la fois sous l’angle de la prouesse technologique et de la normalité. C’est toujours pour attraper des méchants qui l’ont bien mérité, qui peut donc trouver ça scandaleux ? La réalité est différente.

Dans la réalité, l’Assemblée nationale et le Sénat viennent d’adopter, dans le cadre de la loi Orientation et programmation du ministère de la justice 2023-2027, une disposition autorisant la prise de contrôle à distance des objets connectés, pour que la police puisse exploiter leur géolocalisation, leur micro ou leur caméra intégrée.

Pour l’heure, la mise en œuvre de cette prise de contrôle à distance est assortie de conditions restrictives : l’enquête en cours doit par exemple concerner des faits passibles d’au moins 5 ans de prison. Mais c’est justement l’existence de conditions qui doit mettre en alerte. L’histoire est pleine de dispositions dont les conditions d’applications se sont doucement élargies, au gré des événements, pour autoriser les pratiques dans un nombre toujours croissant de cas.

On se souvient par exemple du fichier national des empreintes génétiques (FNAEG), créé pour ficher les auteurs de crimes sexuels graves, et dans lequel se retrouvent aujourd’hui un tiers des Français (à lire ici : https://www.nextinpact.com/article/48209/plus-dun-tiers-francais-sont-fiches-dans-fnaeg). Dans le même ordre d’idées, on se souvient aussi des dispositions de lutte contre le terrorisme, adoptées dans l’urgence après les attentats de novembre 2015, qui ont aussitôt servi à réprimer les manifestations du mouvement écologiste lors de la COP 21 à Paris en décembre 2015.

Dans un contexte politique et social où les mobilisations politiques sont dorénavant traitées par les gouvernements comme des événements « anti-républicains » et « factieux », comment croire une seule seconde que l’accès aux appareils numériques sera toujours réservé aux vrais méchants de la fiction ? Comme le dit l’article : « Il n’y a jamais de retour en arrière ».

Surtout que la qualification pénale, à ce stade des enquêtes, revient aux procureurs, qui pourront user et abuser de leurs pouvoirs pour s’autoriser ces nouveaux pouvoirs d’enquête. Or, l’exemple de l’affaire de Tarnac montre bien que ce qui est présenté comme terroriste par la police ne l’est pas nécessairement pour la justice. En pleine urgence climatique, certaines actions de sabotage menées par des activistes écologistes pourraient déjà tomber sous le coup de ces mesures.

Lire l’article complet du 25 juillet : https://www.laquadrature.net/2023/07/25/lassemblee-adopte-lactivation-a-distance-des-appareils-electroniques/

Réseaux sociaux et boucs émissaires

Dans la bouche des personnalités politiques paresseuses, les réseaux sociaux sont responsables de tous les maux, sauf quand c’est la faute des jeux vidéo. Lors des révoltes urbaines qui ont suivi la mort du jeune Nahel à Nanterre, le 27 juin dernier, ça n’a pas raté : juste après avoir doctement affirmé que « certains d’entre eux vivent dans la rue les jeux vidéo qui les ont intoxiqués », le Président de la République (également sociologue, spécialiste des médias et analyste des comportements de foules), a pointé « celles et ceux qui utilisent ces réseaux sociaux pour appeler au désordre ou exacerber la violence ».

Pour le gouvernement, les émeutiers sont des gamins qui agissent uniquement par imitation et pour cumuler les vues sur TikTok et SnapChat. Belle analyse au doigt mouillé, qui accuse le mécanisme de propagation de la révolte sans interroger son origine sociale dans la profondeur ni dans la durée. On accuse le médium sans lire le message, c’est de l’escamotage politicien dans toute sa splendeur.

Mais au-delà de ce tour de passe-passe affligeant qui cache la démission de toute ambition politique, le gouvernement retombe une fois encore dans les réflexes sécuritaires qui en sont le complément habituel : on parle de censurer en urgence, et à la volée, les contenus qui « appellent à l’émeute », en particulier les vidéos tournées dans les rues. Cette censure administrative est un vieil ennemi de La Quadrature : utilisée à discrétion par la police et le gouvernement, sans décision judiciaire et au gré des errances politiques, elle donne paradoxalement un pouvoir démesuré aux grandes plateformes privées du web, qui appliquent les décisions de censure administrative avec le plus grand zèle et les devancent même volontiers.

Le gouvernement prépare pour cet automne une loi numérique qui devra adapter les mesures du Digital Service Act (DSA) européen. Sera-t-elle l’occasion pour le gouvernement de renforcer les pouvoirs des plateformes ? Ce sera un des grands enjeux de cette rentrée pour La Quadrature, qui soutient toujours l’obligation d’interopérabilité.

Une analyse détaillée de l’actualité et des enjeux à venir, à lire sur notre site.

Lire l’article paru le 28 juillet : https://www.laquadrature.net/2023/07/28/revoltes-et-reseaux-sociaux-le-retour-du-coupable-ideal/

Pourquoi nous n’accueillerons pas Meta dans le fédivers

L’interopérabilité que nous réclamons est en train d’advenir. Le fédivers, basé sur le protocole ActivityPub, a pris une ampleur intéressante dans la dernière année, avec une multiplication des services qui l’utilisent — et peuvent donc tous s’interopérer — et une forte hausse de la fréquentation du réseau Mastodon, provoquée par la déréliction de Twitter sous la direction erratique d’Elon Musk. La fin du monopole de Twitter sur le micro-blogging et le développement de nouvelles formes de réseaux sociaux attirent maintenant les appétits des autres grandes plateformes.

Meta a donc annoncé le lancement de Threads, qui devrait à terme se baser sur ActvityPub pour être interopérable avec le reste du fédivers. Le groupe a même engagé, sous couvert d’un accord de confidentialité, des discussions avec quelques-unes des plus grandes instances de Mastodon. Aussitôt, le débat a pris au sein de la communauté : faut-il ou non accueillir Meta et Threads dans le fédivers ? Notre réponse est non.

L’histoire enseigne que les grandes entreprises privées du web sont toujours intéressées par les technos et les idées qui les concurrencent. Elles commencent par s’en approcher, par s’interconnecter avec elles, puis elles développent de nouvelles fonctions qui redéfinissent le jeu, avant de le refermer en absorbant tout le monde. Pour fonctionner de manière équitable et résister à la recentralisation, à la force de gravitation des grands groupes, l’interopérabilité doit être formalisée et encadrée par des règles contraignantes, les mêmes pour tous les acteurs.

C’est pourquoi les GAFAM ne seront pas les bienvenus dans le fédivers tant que l’interopérabilité ne sera pas obligatoire et strictement encadrée.

Lire notre prise de position parue le 9 août : https://www.laquadrature.net/2023/08/09/larrivee-de-meta-sur-le-fedivers-est-elle-une-bonne-nouvelle/

La Quadrature dans les médias

Censure des réseaux sociaux

• Des réseaux sociaux coupés en cas d’appel à la révolte ? Après la lettre ouverte des ONG, Thierry Breton publie une « clarification » — https://www.01net.com/actualites/des-reseaux-sociaux-coupes-en-cas-dappel-a-la-revolte-apres-la-lettre-ouverte-des-ong-thierry-breton-publie-une-clarification.html [01net]
• Censurer les réseaux sociaux : tout sur l’inquiétant projet de Macron face aux « émeutes » — https://www.lemediatv.fr/emissions/2023/censurer-les-reseaux-sociaux-tout-sur-linquietant-projet-de-macron-face-aux-emeutes-Ghbgv7J8SbOLk9b8huik8Q [Le Média]
• Emmanuel Macron au JT de 13h : ce qu’il a en tête quand il parle d’« ordre public numérique » — https://www.huffingtonpost.fr/politique/article/emmanuel-macron-au-jt-de-13h-ce-qu-il-a-en-tete-quand-il-parle-d-ordre-public-numerique_221013.html [HuffPost]
• Un communiqué du ministère pour restreindre l’accès à Internet ? — https://factuel.afp.com/doc.afp.com.33M4746 [AFP factuel]
• Émeutes : « S’en prendre aux réseaux sociaux, c’est la marque de fabrique des régimes autoritaires » — https://www.nouvelobs.com/societe/20230705.OBS75377/emeutes-s-en-prendre-aux-reseaux-sociaux-c-est-la-marque-de-fabrique-des-regimes-autoritaires.html [L’Obs]
• Snapchat a-t-il « bidonné » sa map à la demande du gouvernement pendant les émeutes ? — https://www.huffingtonpost.fr/france/video/snapchat-a-t-il-bidonne-sa-map-a-la-demande-du-gouvernement-pendant-les-emeutes_220516.html [Huffington Post]

Mouchards

• Ces appareils connectés, sextoys inclus, qui doivent remplacer balises et micros espions — https://www.zdnet.fr/actualites/ces-appareils-connectes-sextoys-inclus-qui-doivent-remplacer-balises-et-micros-espions-39960336.htm [ZDnet]
• L’activation à distance des appareils électroniques par la police inquiète — https://www.mediapart.fr/journal/france/240623/l-activation-distance-des-appareils-electroniques-par-la-police-inquiete [Mediapart]
• Loi Justice : police partout, même dans la chambre ? — https://video.blast-info.fr/w/kopjESc92fvHhvregUEZ8K [Blast]
• France set to allow police to spy on suspects through remote phone access — https://www.rfi.fr/en/france/20230706-france-set-to-allow-police-to-spy-on-suspects-through-remote-phone-access [RFI]
• Lawmakers approve bill allowing French police to locate suspects by tapping their devices — https://www.pbs.org/newshour/world/lawmakers-approve-bill-allowing-french-police-to-locate-suspects-by-tapping-their-devices [Associated Press]
• Caméras et micros activés à distance : un projet de loi pour surveiller les militants — https://reporterre.net/Cameras-et-micros-actives-a-distance-un-projet-de-loi-pour-surveiller-les-militants [Reporterre]
• Espionner des suspects via leur smartphone : l’Assemblée approuve le principe des portables « mouchards » — https://www.francebleu.fr/infos/societe/espionner-des-suspects-via-leur-smartphone-l-assemblee-approuve-le-principe-des-portables-mouchards-4215182 [France Bleu]
• L’activation à distance « de téléphones mouchards » menace-t-elle les libertés ? — https://www.sudouest.fr/justice/l-activation-a-distance-de-telephones-mouchards-menace-t-elle-les-libertes-15784747.php [Sud-Ouest]

Meta et le fédivers

• Sauver ou pas le soldat Elon : tirera-t-on vraiment un Threads ? — https://www.ecranmobile.fr/Sauver-ou-pas-le-soldat-Elon-tirera-t-on-vraiment-un-Threads_a74588.html [Ecran Mobile]

Agenda

• 24 au 27 août : La Quadrature du Net sera au Hadra Trance Festival, aux côtés de Framasoft, Picasoft, Exarius et Linux07 – Plan d’eau de Vieure, Allier (France). Plus d’infos sur : https://hadratrancefestival.net/fr/.
• 1er au 4 septembre : La Quadrature du Net sera à Freedom Not Fear à Bruxelles. Plus d’infos sur : https://freedomnotfear.org/2023.
• 14 septembre : causerie mensuelle Technopolice Marseille à 19h, au Manifesten, 59 rue Adolphe Thiers à Marseille.

Retour aux archives