L’égalité sous algorithme : comment (re)penser la notion de discrimination en droit européen ?

Article par Raphaële Xenidis

Chronique classée dans Dossier, Droit de l'Union Européenne

Appartient au dossier : "Constitutionnalisme numérique et approches critiques en droit et technologie"

RDLF 2025 chron. n°35

Mot(s)-clef(s): Algorithme, Discrimination, Intelligence artificielle, Profilage, Union européenne

Imprimer ou version PDF

Source : Clarote & AI4Media / Better Images of AI / AI Mural / CC-BY 4.0

Available at: https://betterimagesofai.org/images?artist=Clarote&title=AIMural

Dans bien des domaines, l’essor de la gouvernance algorithmique fait craindre une exacerbation des inégalités. Pourtant, le droit européen de l’égalité n’offre que des recours limités pour appréhender les effets discriminatoires des biais algorithmiques. Cette insuffisance s’explique en partie par les glissements épistémiques et épistémologiques induits par la gouvernementalité algorithmique : les notions de causalité, de sujet de droit et de responsabilité, centrales en droit antidiscriminatoire, sont remises en question par les formes de rationalité propres aux big data, au data mining et aux logiques de profilage. Plusieurs défis majeurs en résultent, qui interrogent l’effectivité du droit européen de l’égalité. D’une part, ces glissements nous invitent à revisiter les catégories classiques de la discrimination – directe et indirecte – à l’aune des mécaniques algorithmiques de reconfiguration et d’amplification des inégalités. D’autre part, les logiques prédictives de l’intelligence artificielle, parce qu’elles ont le potentiel de transformer les discriminations passées en prophéties auto-réalisatrices, commandent de repenser la notion de responsabilité. Pour ce faire, cet article explore une voie alternative du droit de la non-discrimination : la notion d’injonction à la discrimination systémique.

Par Raphaële Xenidis, École de droit, Sciences Po Paris

Introduction

L’ubiquité des algorithmes et des techniques de production de savoir qui y sont associées est désormais évidente. Combinant données, machines et interventions humaines, de nombreux processus décisionnels sont désormais semi-automatisés, tant dans le secteur public que privé. En France et en Europe, les administrations publiques ont fait l’objet d’un nombre croissant d’enquêtes indépendantes traçant l’usage des algorithmes à des fins de profilage des usagers, de prédiction des comportements, d’évaluation des risques, d’optimisation de l’allocation des ressources ou encore de ciblage des contrôles.[1] Ces pratiques s’inscrivent toutefois dans des finalités bien particulières obéissant à un double mouvement de « sécuritisation » d’une part – entendue comme une stratégie rhétorique visant à requalifier certains problèmes politiques en enjeux de sécurité – et, de l’autre, de rationalisation de la dépense publique. La cartographie des algorithmes utilisés par France Travail, la Caisse nationale d’allocations familiales (CNAF), les Caisses nationales d’assurance maladie et vieillesse, mais aussi l’administration fiscale, révèle par exemple des objectifs de lutte contre la fraude, de surveillance, et plus largement de contrôle social.[2] Dans ces domaines et dans bien d’autres secteurs,[3] on voit poindre ce que, dès 1990, Deleuze appelait « les sociétés de contrôle » et qu’il décrivait déjà comme résultant de « l’installation progressive et dispersée d’un nouveau régime de domination » dans lequel « l’ordinateur qui repère la position de chacun, licite ou illicite, et opère une modulation universelle » occupe une place centrale (Deleuze 1990, 7).

L’installation de ces régimes de gouvernance algorithmique s’accompagne d’inquiétudes quant au respect du droit et des droits. Leur essor dans des domaines divers comme la sécurité, la santé, la finance, ou l’emploi, soulève de nombreuses questions quant à l’application du droit existant. Les biais algorithmiques, qui amplifient les discriminations et exacerbent les inégalités, sont par exemple devenus une préoccupation majeure pour la société civile, les juristes, les informaticiens, les éthiciens et l’industrie des nouvelles technologies. D’ailleurs les appels à réglementer ces technologies ont récemment abouti, au plan européen, à l’adoption de deux instruments juridiques d’ampleur : le Règlement Européen sur l’Intelligence Artificielle (IA) pour l’Union Européenne (UE), et la Convention-Cadre sur l’IA pour le Conseil de l’Europe. Systématiquement, le droit est convoqué pour encadrer les nouvelles technologies et contenir leurs effets néfastes. Mais que peut le droit ? S’intéressant à « la question d’un droit dans la gouvernementalité algorithmique », Stiegler soutient « que ce droit serait forcément un droit qui revisiterait la différence du fait et du droit, et qui ré-instruirait pourquoi le droit n’est jamais réductible au fait, et donc ferait son compte à la fable de Chris Anderson » selon laquelle il n’est « plus besoin de théories, c’est-à-dire de droit, de modèles : il suffit d’avoir des corrélations entre des faits » (Stiegler 2015, 131, citant Anderson 2008). Penser le droit dans le contexte de la gouvernance algorithmique appelle donc à dépasser la simple transposition des concepts juridiques bien connus à la nouvelle réalité numérique pour penser les glissements épistémiques et épistémologiques qu’opèrent ces pratiques.

Pourtant, la question de la gouvernance juridique des technologies tend à être posée sous l’angle de ce que Brownsword appelle le « défi de la connexion réglementaire » (Brownsword 2008, 160-162). Selon lui, « le rythme du développement technologique, déjà trop rapide pour le droit, s’accélère[rait] » (ibid, 166-168) et engendrerait d’importantes lacunes normatives qu’il faudrait combler soit en adoptant de nouvelles normes, soit en appliquant (et en adaptant le cas échéant) le droit existant. Dans ce contexte, le leitmotiv d’une « intelligence artificielle centrée sur l’humain », présent notamment dans le discours institutionnel européen,[4] a conduit à une transposition souvent analogique des concepts juridiques. Ces notions influencent la construction normative en important des modes d’abstraction particuliers. Ici, la machine est appréhendée comme un objet de régulation autonome et les assemblages sociotechniques dans lesquels s’inscrivent ces nouvelles technologies sont en grande partie expulsés hors du champ du droit (Xenidis 2023). Par exemple, le récent Règlement sur l’IA de l’UE encadre l’intelligence artificielle à la manière d’un produit dont la sécurité doit être garantie au moyen de standards techniques visant à en assurer la conformité.[5] Pour garantir le respect des droits fondamentaux et notamment celui de ne pas faire l’objet d’une discrimination, il fixe ainsi des principes de gouvernance des données, dont la qualité, la représentativité et l’exactitude doivent permettre de maitriser les biais algorithmiques (Article 10). Obligation est donc faite aux fournisseurs de systèmes d’IA dits « à haut risque » d’examiner les données de l’algorithme « en vue d’éventuels biais susceptibles d’affecter la santé et la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux ou d’entraîner une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les données d’entrée pour des opérations futures » (Article 10(2)(f)). Des « mesures appropriées pour détecter, prévenir et atténuer les éventuels biais identifiés conformément au point f » doivent aussi être adoptées (Article 10(2)(g)). Le Règlement prévoit également un « contrôle humain » visant à « prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux » (Article 14(2)). Ces exemples illustrent comment le droit concentre son intervention au sein même de la machine. Contrôler la conformité des systèmes techniques et la qualité des données qui les alimentent doit conduire au respect des droits fondamentaux. Ainsi, c’est dans l’artefact technique que se loge l’intervention règlementaire, souvent au mépris des pratiques de gouvernance desquelles participent ces technologies (Xenidis 2023).

Or, une lecture instrumentaliste du droit comme un outil technique, conçu par des « techniciens modestes mais dévoués à leur tâche » (Riles 2005, 975-976) cherchant à résoudre des problèmes pratiques, risque d’occulter d’importantes questions conceptuelles, épistémologiques et normatives. En effet, les science and technology studies (STS) éclairent sur l’importance des assemblages sociotechniques au sein desquels ces technologies émergent et évoluent.[6] À la société de contrôle pensée par Deleuze correspondent bien des « types de machines » particuliers, « non pas que les machines soient déterminantes, mais parce qu’elles expriment les formes sociales capables de leur donner naissance et de s’en servir » (Deleuze 1990, 5, voir aussi par ex. Winner 1980, Jasanoff 2004). Penser le droit dans la gouvernance algorithmique commande donc de considérer les mécanismes d’ordonnancement du social, et donc les régimes de production épistémique et les pratiques de gouvernance, que permettent et co-produisent les algorithmes. Par conséquent, il faut interroger les glissements épistémiques et épistémologiques qu’induisent les régimes de gouvernance algorithmique : comment fabriquent-ils le réel et comment le droit et ses catégories peuvent-ils l’appréhender ? Pour répondre à ces questions, cet article propose, de manière fragmentaire, de s’intéresser au droit antidiscriminatoire pour comprendre comment ses fondements épistémologiques se trouvent bouleversés par ce que Rouvroy et Berns appellent « la gouvernementalité algorithmique » (Rouvroy et Berns 2013).

La gouvernementalité algorithmique peut être définie comme « un certain type de rationalité (a)normative ou (a)politique reposant sur la récolte, l’agrégation et l’analyse automatisée de données en quantité massive de manière à modéliser, anticiper et affecter par avance les comportements possibles » (Rouvroy et Berns 2013, 173). Elle repose sur un double paradoxe : d’une part, une hyperpersonnalisation sans subjectivité au moyen d’agrégats ou clusters, et de l’autre, une « objectivité a-normative » et immanente, à la fois promesse de « table rase des anciennes hiérarchies » et porteuse d’une profonde reconduction de l’ordre social établi (Rouvroy et Berns 2013, 173). La généralisation des dispositifs de gouvernance techno-juridique semble donc profondément interroger le droit antidiscriminatoire, dont les catégories traditionnelles présupposent l’existence d’un sujet de droit autonome et réflexif et de groupes sociaux à la fois identifiables et vecteurs de hiérarchies sociales historiquement stabilisées. Pour illustrer ces tensions, cette contribution propose de revisiter trois concepts-clef du droit antidiscriminatoire – la causalité, le sujet de droit et la responsabilité – à l’aune de la gouvernementalité algorithmique. Il propose de repenser la dichotomie classique entre discriminations directes et indirectes, centrale dans le droit européen de l’égalité, à la lumière de ces tensions conceptuelles. Dans un premier temps, cet article s’interroge sur la relation de causalité entre motif protégé et traitement discriminatoire alors que les algorithmes promettent de délivrer les processus décisionnels des biais cognitifs et des préjugés humains. L’ère des corrélations annoncée par la gouvernance algorithmique semble en effet amener le droit de la non-discrimination sur le terrain de la discrimination indirecte, en masquant souvent les liens de causalité entre traitement algorithmique et motif protégé qu’exigent la discrimination directe. Dans un second temps, cette contribution examine comment le sujet de droit est empêché par les conditions de la gouvernance algorithmique, tant dans ses dimensions individuelle que collective. La fragmentation épistémique et l’opacité inhérentes aux pratiques de gouvernance algorithmique entravent les capacités réflexives du sujet du droit antidiscriminatoire qui ne peut ni s’identifier, ni se comparer. Pourtant, ce sujet fait bien l’objet d’un profilage qu’on pourrait apparenter à une forme de catégorisation stéréotypée, notion qui, en droit européen, présente des affinités conceptuelles avec celle de discrimination directe. Dans un troisième temps, cette contribution se penche sur les conséquences de ces glissements pour le régime probatoire et les mécanismes de responsabilité prévus par le droit antidiscriminatoire. Ici, l’article s’interroge sur la manière de modéliser, au sein du dispositif normatif du droit antidiscriminatoire, les asymétries créées ou exacerbées par les algorithmes. Pour ce faire, cet article s’interroge sur la possibilité d’une architecture juridique alternative, capable de répondre à la reconfiguration des formes de production d’inégalités par les régimes de gouvernance algorithmique. En particulier, il suggère d’explorer un tiers-lieu juridique, un lieu vacant pour l’instant laissé en friche par le juge européen – la notion d’injonction à pratiquer une discrimination – pour repenser la responsabilité en matière de discrimination algorithmique dans une perspective plus systémique.

I. Trouble dans le droit : la disparition des motifs protégés dans les corrélations

Comment les régimes de gouvernance algorithmique qui fleurissent dans de nombreux domaines publics et privés troublent-ils les opérations du droit européen de la non-discrimination ? Cette section expose, tout d’abord, comment le droit européen saisit les discriminations sur le fondement de motifs protégés (A), avant de s’intéresser à la disparition de ces motifs dans les corrélations à l’ère des décisions algorithmiques (B).

A. Causalité, neutralité et motifs protégés : distinguer discriminations directes et indirectes

Il faut tout d’abord s’intéresser aux motifs protégés par le biais desquels le droit de la non-discrimination distingue traditionnellement les différences légitimes et illégitimes. Pour qu’un traitement ou un désavantage donné soit considéré comme discriminatoire, il faut qu’une relation puisse être établie avec un ou plusieurs de ces motifs. Le droit dérivé de l’UE en consacre six : le sexe et le genre,[7] la race ou l’origine ethnique,[8] le handicap, l’orientation sexuelle, la religion ou les convictions, et l’âge.[9] En droit primaire, l’article 21 de la Charte des droits fondamentaux de l’UE, en consacre un plus grand nombre[10] mais son application a pu être considérée comme subsidiaire par le juge européen.[11]

En droit européen, il existe deux grands types de discrimination : la discrimination directe et indirecte. Cette dichotomie repose sur une distinction apparemment simple qui a trait à l’existence d’une relation de causalité ou de neutralité entre une différence ou un désavantage donné et un motif protégé.[12] D’une part, « la discrimination directe se produit lorsqu’une personne est traitée de manière moins favorable qu’une autre ne l’est, ne l’a été ou ne le serait dans une situation comparable, sur la base de l’un des motifs » protégés par le droit.[13] Ainsi, la Cour de Justice de l’UE exige une relation de (quasi) causalité entre le traitement défavorable et le motif protégé pour caractériser une discrimination directe. Dans certains cas, la Cour a assoupli cette exigence pour admettre comme directe la discrimination en raison de motifs étroitement apparentés à des motifs protégés, en qualifiant par exemple de discrimination directe sur le fondement du sexe le traitement moins favorable d’une candidate en raison de sa grossesse.[14] Par analogie, la CJUE a considéré qu’un traitement différencié opéré en fonction de la date de remise à l’employeur d’un certificat par un travailleur en situation de handicap pouvait constituer une discrimination directe sur le fondement du handicap.[15]

D’autre part, en droit européen la notion de discrimination indirecte prend en charge les situations dans lesquelles « une disposition, un critère ou une pratique apparemment neutre est susceptible d’entraîner un désavantage particulier pour des personnes d’une religion ou de convictions, d’un handicap, d’un âge[,] d’une orientation sexuelle[, d’une origine ethnique ou d’un sexe] donnés, par rapport à d’autres personnes ».[16] Cette acception de la discrimination n’exige donc pas qu’un traitement donné ait un rapport quelconque avec un motif protégé, mais seulement que l’effet d’une pratique ou d’une règle soit défavorable aux membres d’un groupe protégé. Pour reprendre les termes du Défenseur des droits, « [l]a mobilisation de critères neutres en apparence c’est-à-dire ne relevant pas des motifs prohibés de discriminations, peut avoir des effets discriminatoires » (Défenseur des Droits 2024, 5). Par exemple, la Cour de Justice a reconnu dès les années 1980 que distinguer le taux de rémunération horaire des travailleurs employés à plein temps et à temps partiel créait un désavantage particulier pour les employées à qui les tâches domestiques liées au care incombaient de manière disproportionnée et qui étaient sur-représentées parmi les employés à temps partiel.[17]

Cette distinction conceptuelle est essentielle car elle détermine le régime juridique applicable, notamment en termes de justifications et de dérogations au principe de non-discrimination. En effet, la discrimination directe ne peut être justifiée que de manière exceptionnelle par un nombre limité de dérogations explicitement listées dans le droit dérivé européen : par exemple une exigence professionnelle essentielle et déterminante.[18] Au contraire, la discrimination indirecte est soumise à un régime ouvert. Elle peut toujours être justifiée sur la base d’un intérêt légitime sous réserve d’un contrôle de proportionnalité. Le droit dérivé prévoit en effet qu’une disposition, un critère ou une pratique qui entraîne un désavantage particulier pour un groupe protégé puisse être « objectivement justifié par un objectif légitime [si] les moyens de réaliser cet objectif [sont] appropriés et nécessaires ».[19] La possibilité, pour le responsable du traitement algorithmique, de justifier les effets discriminatoires d’une décision (semi-)automatisée est donc bien plus large lorsqu’il s’agit d’une discrimination indirecte. La qualification de la discrimination en tant que directe ou indirecte représente donc un enjeu juridique de premier ordre. L’importance de cette distinction se trouve renforcée par la question de la difficile appréhension, par le droit, d’arbitrages techniques, notamment à l’aune du contrôle de proportionnalité. Par exemple, comment apprécier le critère juridique de nécessité en lien avec la fixation de seuils techniques ou la répartition de faux positifs et de faux négatifs entre différents groupes au sein d’un système ? Ces questions, pourtant profondément normatives,[20] présentent d’importants enjeux d’interprétation et sont « souvent occulté[e]s par des affirmations généralisées sur la précision » des algorithmes (Binns 2020, 6). Ces difficultés de traduction pourraient limiter la portée du contrôle de proportionnalité inhérent à la discrimination indirecte, et notamment l’appréciation du critère de nécessité (voir par ex. Martínez-Ramil 2022 ; Hacker, 2018).

B. Algorithmes et corrélations

Si la relation au motif protégé est essentielle pour connaître d’une discrimination illégitime, la gouvernance numérique semble faire disparaître ces motifs au profit de corrélations repérées dans des masses de signaux fragmentaires. L’essayiste américain Chris Anderson postule ainsi la « fin de la théorie » (Anderson 2008). Selon lui, la gouvernance par les algorithmes permettrait de se défaire des catégories heuristiques et des nomenclatures sur lesquelles s’appuie le cerveau humain pour prendre des décisions. L’algorithme procède en effet « de manière inductive » en recherchant « des régularités » dans d’immenses bases de données et en formulant « le moins d’hypothèses possible » (Cardon 2015, 53). C’est cette apparente objectivité qui permet à l’industrie des nouvelles technologies de célébrer la neutralité des systèmes algorithmiques, qui permettraient une prise de décision plus objective puisque ignorant les catégories socialement signifiantes de genre, d’ethnicité, d’âge, etc. et les préjugés, biais implicites et préférences arbitraires qui y sont associés. Bien sûr, cette apparente objectivité est spécieuse : non seulement les régimes de gouvernance algorithmique reproduisent l’ensemble des biais discriminatoires qui structurent les masses de données servant à entraîner les algorithmes, mais ils amplifient et automatisent aussi des pratiques historiques d’exclusion (Xenidis 2025). L’exemple de l’algorithme CNAF, qui institue les plus précaires en tant que catégorie intrinsèquement suspecte, illustre bien comment la gouvernance algorithmique perpétue et amplifie les inégalités sociales.[21] On aboutit ainsi à un paradoxe apparent : la gouvernance algorithmique contourne les catégories socialement signifiantes que sont les motifs protégés du droit antidiscriminatoire et, sur cette base, revêt une apparente objectivité bien que, dans le même temps, elle opère une inexorable reconduction de l’ordre social installé et des hiérarchies et des inégalités qui le sous-tendent.

En effet, la gouvernementalité algorithmique repose sur ce que Rouvroy appelle un « régime de vérité numérique » qui bouleverse les modes de catégorisation du réel (Rouvroy 2015). D’après Cardon, « [l]e modèle n’est plus une entrée dans le calcul, mais une sortie » (Cardon 2015, 46). Les big data, les techniques de data analytics et le data mining, l’exploration de données, produisent de « nouveaux modes de catégorisation du réel » qui éludent les grandes catégories signifiantes à travers lesquelles nous pensons les rapports sociaux. Ce « comportementalisme numérique généralisé » se nourrit de données, c’est-à-dire de « signa[ux] expurgé[s] de toute signification propre » (Rouvroy et Berns 2013, 169). C’est d’ailleurs ce qui donne à la gouvernementalité algorithmique son apparence de pleine objectivité : en tant que signaux et fragments, les big data ne semblent plus refléter aucun point de vue. La gouvernementalité algorithmique revêt une apparence d’immanence a-normative où les corrélations semblent émerger du réel sans médiation aucune. Pourtant, « les calculateurs fabriquent notre réel, l’organisent et l’orientent » (Cardon 2015, 14). En instaurant « des conventions et des systèmes d’équivalence qui sélectionnent certains objets au détriment d’autres, [ils] imposent une hiérarchisation des valeurs qui en vient progressivement à dessiner les cadres cognitifs et culturels de nos sociétés » (ibid). Il faut donc rendre visible cette normativité pour saisir la manière dont les pratiques de gouvernance algorithmique amplifient et cristallisent discriminations et inégalités (sur ce point voir par ex. Hellman 2021).

L’éclatement, la segmentation et le cloisonnement des catégories socialement signifiantes – le genre, la race, l’âge, etc. – en fragments déchiffrables seulement par les algorithmes de calculs rendent toutefois difficile le traçage de relations de causalité entre traitement algorithmique et motifs protégés. Plus souvent, les systèmes de recommandation ou de décision algorithmiques produisent de la discrimination « par proxy », c’est-à-dire par le truchement de données perçues comme objectives et qui neutralisent a priori les motifs prohibés. Les scores algorithmiques ne sont pas fondés, par exemple, sur l’ethnicité mais plutôt sur une combinaison de données telles que le code postal, le nom de famille, la langue ou même des données comportementales bien plus fines et bien moins signifiantes a priori telles que l’historique d’un moteur de recherche, les likes, la cartographie des followers ou les relations d’un utilisateur sur les réseaux sociaux. Quand bien même les variables d’un modèle seraient fortement corrélées ou correspondraient à des motifs protégés, il demeurerait ardu de repérer comment ils affectent les décisions ou recommandations algorithmiques dans les conditions d’opacité dans lesquelles opèrent les systèmes algorithmiques.[22] Ainsi, les effets discriminatoires des pratiques de gouvernance algorithmique sont invisibilisés a priori et ne peuvent souvent être appréhendés qu’a posteriori, en reconstituant leur impact collectif, parfois en agrégeant les expériences d’une multitude de victimes individuelles. À première vue, on assiste donc à une disparition des motifs protégés dans les corrélations. La section III s’intéressera aux enjeux de qualification juridique que pose cette disparition, et en particulier aux difficultés qu’elle semble soulever pour la notion de discrimination directe.

II. Le sujet empêché : entre infra-signaux et supra-clusters

Le droit antidiscriminatoire postule un sujet autonome et réflexif, capable de se prévaloir de son droit à l’égalité de traitement. Si cette fiction juridique présente des limites bien identifiées par les courants critiques (sur ce point, voir par ex. Petersmann et Van den Meerssche 2023), le sujet de droit est pourtant l’une des clefs de voûte du droit antidiscriminatoire. Pour exister, la discrimination doit en effet affecter un individu ou un groupe porteur d’un motif protégé ou associé à ce motif protégé.[23] Pour rappel, en droit européen, la discrimination directe survient « lorsqu’une personne est traitée de manière moins favorable qu’une autre » et la discrimination indirecte lorsqu’ « une disposition, un critère ou une pratique apparemment neutre est susceptible d’entraîner un désavantage particulier pour des personnes […d’un groupe protégé par le droit antidiscriminatoire…], par rapport à d’autres personnes ».[24] Or, les modes de calcul qui sous-tendent les régimes de gouvernance algorithmique ne (re)connaissent ni l’individu ni le groupe mais y substituent deux catégories non-réflexives : le « dividuel » et le cluster. Cette section s’attache à montrer comment le sujet du droit antidiscriminatoire est à la fois contourné et empêché, tant dans sa dimension individuelle (A) que collective (B), par les modes de subjectivation inhérents à la gouvernementalité algorithmique.

A. De l’individu au dividuel

La disparition du sujet individuel relève d’un paradoxe apparent. Alors que les algorithmes tendent à l’hyperpersonnalisation (par exemple dans la fourniture de publicités ciblées, de biens ou services correspondant au profil individuel des utilisateurs), ils contournent et empêchent toute subjectivité réflexive. Pour Deleuze, « [l]es individus sont devenus des ‘dividuels’ » (Deleuze 1990). La société de contrôle qu’il décrit « ne témoigne nullement d’un progrès vers l’individuation, comme on le dit, mais substitue au corps individuel ou numérique le chiffre d’une matière « dividuelle » à contrôler (ibid). En d’autres termes, le profilage produit des « jumeaux numériques », des « data doubles » à partir de nos traces, fragments et de signaux numériques (Hildebrandt 2015, 92-93). Toutefois, ces « agents doubles » n’existent qu’à la seule fin d’inférer d’autres informations, sans jamais produire d’individuation ou autoriser l’agentivité du sujet (ibid ; Rouvroy 2016). La gouvernementalité algorithmique revêt donc une apparence d’individualisation mais fabrique en fait des simulacres de sujets individuels qui ne sont « possible[s] que parce qu’il existe un très important volume de comportements » analysés (achats, interactions…) (Cardon 2015, 52). En réalité, le sujet algorithmique n’est qu’un agrégat de traces dont « [l]e futur […n’]est prédit [que] par le passé de ceux qui lui ressemblent » (Cardon 2015, 34). Pour Rouvroy et Berns, ce « comportementalisme numérique » permet « de gouverner les comportements sans s’occuper directement des individus » et se contente « d’une expression statistique de la réalité » (Rouvroy & Berns 2013, 189). Ainsi, la gouvernance algorithmique « absolutis[e] l’individu (même s’il est abordé ‘en creux’ […]) et en même temps le déréalise au sens où il n’est plus que relatif à des suites de mesures qui elles-mêmes font office de réalité » (Rouvroy & Berns 2013, 189).

Pour le droit de la non-discrimination, ces modes de (non-)subjectivation sont problématiques car ils créent ce que Milano et Prunkl appellent la « fragmentation épistémique » (Milano et Prunkl 2024). En isolant et en partitionnant les individus, le profilage algorithmique empêche le sujet de s’identifier, de situer et de comprendre la manière dont il est profilé et les conséquences de ce profilage sur ses propres expériences. Par exemple, les usagers des caisses d’allocations familiales (CAF) auxquels l’algorithme attribue un score de risque élevé sont empêchés dans leur compréhension du système et de ses ressorts. D’une part, ils ne savent souvent pas qu’ils font l’objet d’un profilage algorithmique. D’autre part, même lorsque cette information leur est connue, ils n’ont pas accès à leur profil, soit que l’administration ne le leur communique pas, soit qu’il soit inintelligible de par sa technicité.[25] Ainsi, le profilage algorithmique fait obstacle à la réflexivité du sujet de droit en empêchant les individus de se comparer les uns aux autres et de se penser à travers les catégories épistémiques classiques. Or, le droit européen construit justement la discrimination à partir de la notion de comparaison. Il s’agit, dans le cas de la discrimination directe, d’un traitement moins favorable (« lorsqu’une personne est traitée de manière moins favorable qu’une autre ne l’est, ne l’a été ou ne le serait dans une situation comparable ») ou, dans celui de la discrimination indirecte, d’un désavantage particulier subi « par rapport à d’autres personnes ». En conséquence, l’individualisation qui résulte du traitement algorithmique, en retirant à l’individu l’accès aux ressources épistémiques qui conditionnent la comparaison, sape les ressources herméneutiques nécessaires à l’activation du droit antidiscriminatoire. Ainsi, le profilage algorithmique, en empêchant le sujet porteur de droits, préempte doublement la mobilisation du droit antidiscriminatoire. Dans une dimension qu’on pourrait appeler « interne », il érode la capacité du sujet à se penser comme victime d’une potentielle discrimination. Dans une dimension « externe », il compromet les éléments de preuve qu’un plaignant pourrait mobiliser pour établir une présomption de discrimination dans le cadre d’une action en justice. Le postulat de l’individu autonome et réflexif en capacité d’exercer ses droits, sur lequel repose le droit antidiscriminatoire européen, se trouve donc fragilisé.[26]

B. Du groupe au cluster

Le groupe, défini en lien avec un motif protégé, est l’autre dimension du sujet postulé par le droit antidiscriminatoire. En droit européen, la discrimination indirecte, en particulier, demande qu’un désavantage particulier affecte un groupe protégé. Cependant, là encore la gouvernance par les données fait échec à la reconnaissance des formes de collectivités présumées par le droit antidiscriminatoire. Elle substitue à ces groupes socialement signifiants et stabilisés des clusters, c’est-à-dire des agrégats composites, transitoires en constante recomposition, socialement a-signifiants et inintelligibles formés sur la base d’inférences servant à calculer leur proximité ou distance réciproque. Comme l’écrivent Gordon et al., « [d]ans les pratiques axées sur les données […], les sujets ne sont plus exclusivement représentés comme des entités autonomes abstraites ou classés selon des critères stables » (Gordon et al. 2023). Les opérations d’agrégation en temps réel effectuées par les algorithmes (ou clusterisation) sont nourries de fragments et de traces numériques infra-individuelles qui ne créent que des « infra-sujets », des « publics fantômes » (Petersmann et Van den Meerssche 2023). Bien que le mode de connaissance inhérent à la gouvernance par les algorithmes soit profondément relationnel – car procédant de ce que Chun appelle l’« homophilie » ou le « voisinage » (Chun 2021, 52) – les algorithmes ne créent que des collectifs non-réflexifs, c’est-à-dire des non-communautés (Sullivan 2022). Ainsi, en procédant sur la base d’agrégation de fragments, les pratiques de gouvernance algorithmique oscillent entre infra-signaux et supra-clusters sans jamais passer par le sujet individuel ou collectif. En d’autres termes, « [l]a gouvernementalité algorithmique ne produit aucune subjectivation, elle contourne et évite les sujets humains réflexifs, elle se nourrit de données infra-individuelles insignifiantes en elles-mêmes, pour façonner des modèles de comportements ou profils supra-individuels sans jamais en appeler au sujet, sans jamais l’appeler à rendre compte par lui-même de ce qu’il est ni de ce qu’il pourrait devenir. Le moment de réflexivité, de critique, de récalcitrance, nécessaire pour qu’il y ait subjectivation semble sans cesse se compliquer ou être postposé » (Rouvroy et Berns 2013, 173, citant Rouvroy 2011).

Là encore, l’effacement des groupes sociaux derrière des agrégats algorithmiques supra-individuels et fluctuants sape les fondements épistémologiques du droit antidiscriminatoire européen. Cette disparition érode les prémisses que sont la reconnaissance mutuelle, par exemple de l’appartenance à un groupe social donné, et, sur cette base, l’action collective (Van Den Meerssche 2022). En effet, l’agrégat algorithmique ne revêt de signification que parce qu’il signale des relations de proximité ou de distance et permet donc de repérer similitudes et anomalies qui peuvent ensuite être exploitées. Dans l’exemple de l’algorithme CNAF, le score de risque attribué aux usagers par le biais des techniques de datamining ne prend son sens que par juxtaposition à la l’agrégation des scores individuels. Les fraudeurs potentiels n’apparaissent que comme une déviation à une norme inférée dans les flux de données. Cet exemple illustre bien comment les modes de production de savoir qu’autorisent les pratiques de gouvernance algorithmique créent un déficit de reconnaissance mutuelle qui entrave l’imputabilité et sapent a priori toute possibilité d’action collective. En effet, même lorsqu’une différenciation algorithmique injuste relève du régime de la discrimination indirecte, les victimes doivent pouvoir se rattacher à un collectif identifiable pour reconnaître le préjudice subi et engager une action en justice.
Cependant, comme le soulignent Aradau et Blanke, « en l’absence de catégories de vulnérabilité individuelle ou collective susceptibles de fonder des revendications publiques, les anomalies ne peuvent s’inscrire dans des chaînes de causalité et de responsabilité » (Aradau et Blanke 2022, 89). Ainsi, le truchement algorithmique, parce qu’il restreint les possibilités de reconnaissance collective, fait échec à l’exercice effectif du droit à la non-discrimination. Il en résulte un effet particulièrement pernicieux : en reconfigurant les inégalités sous forme de scores de risque chiffrés et individualisés, ces mécanismes rendent les injustices plus difficilement identifiables et, dans une large mesure, les soustraient au droit antidiscriminatoire (Xenidis 2023). En conclusion, le contournement et la neutralisation du sujet réflexif – qu’il soit individuel ou collectif – au sein des régimes de gouvernance algorithmique, lesquels oscillent entre l’infra- et le supra-individuel, illustrent un glissement épistémologique fondamental, susceptible de compromettre l’effectivité du droit antidiscriminatoire européen.

III. Enjeux de qualification juridique

Les sections précédentes ont montré comment la gouvernementalité algorithmique engendre au moins deux tensions épistémologiques majeures au sein du droit antidiscriminatoire européen : la disparition des motifs protégés dans des masses de corrélations et la neutralisation du sujet de droit. Cette dernière section s’attache à élucider les enjeux juridiques liés à la reconfiguration des notions de causalité et de sujet en droit de la non-discrimination à l’aune de ces tensions. Elle s’attachera d’abord à exposer les enjeux, techniques et normatifs, inhérents à la qualification des injustices algorithmiques en tant que discriminations directes et indirectes (A) puis suggèrera une alternative en revisitant la notion de responsabilité sous l’angle de la notion d’injonction à discriminer (B).

A. Enjeux de qualification juridique : discrimination directe ou indirecte ?

L’éclatement des motifs protégés dans les corrélations et la neutralisation du sujet ont conduit nombre de commentateurs à supposer que la gouvernance algorithmique signait la fin de la discrimination directe. Toutefois, la notion de discrimination indirecte présente plusieurs difficultés, tant conceptuelle que procédurales (1). D’ailleurs, le préjudice inhérent au profilage algorithmique peut se concevoir comme une forme d’assignation stéréotypée qui, au plan conceptuel, présente certaines affinités avec la notion de discrimination directe (2). En illustrant les convergences et les tensions entre les préjudices discriminatoires des régimes de gouvernance algorithmique et les notions de discrimination directe et indirecte, cette section met en lumière le caractère plus normatif que technique de cet enjeu de qualification juridique.

1. Promesses et écueils de la discrimination indirecte

Les discriminations qui résultent des pratiques de gouvernance algorithmiques ont souvent été qualifiées d’indirectes.[27] Hacker affirme, par exemple, que « dans les contextes d’apprentissage automatique, la discrimination indirecte constitue le type de discrimination le plus pertinent », et que « la discrimination directe sera rare dans les décisions algorithmiques, et largement limitée aux cas de biais implicites liés à l’étiquetage des données » (Hacker 2018, 1152-1153). Borgesius rejoint cette analyse en suggérant que « le droit de la non-discrimination interdit de nombreux effets discriminatoires résultant des prises de décision algorithmiques, notamment par le biais du concept de discrimination indirecte » (Borgesius 2020, 1578). Kelly-Lyth soutient que « hormis des cas précis [de discrimination directe], la plupart des algorithmes biaisés relèveront du cadre juridique de la discrimination indirecte » (Kelly-Lyth 2021, 906). Ces rapprochements s’expliquent en partie par les glissements épistémologiques opérés par la gouvernementalité algorithmique – la disparition des motifs dans les corrélations et la neutralisation du sujet – qui, à première vue, brouillent la grille de lecture du droit antidiscriminatoire européen. Comme nous l’avons vu, les modes de gouvernance algorithmique « obscurciss[e]nt […] les normativités sociales, rendant celles-ci, autant que possible, muettes, car intraduisibles sous une forme numérique » (Rouvroy et Berns 2013, 168). Les décisions sont prises sur le fondement de scores de risques, indicateurs quantifiés, agrégés et difficilement intelligibles qui évitent et mettent à distance les catégories socialement signifiantes. Une autre difficulté majeure peut expliquer l’attrait exercé par la notion de discrimination indirecte dans le contexte algorithmique. En effet, les différents facteurs et leur poids respectif dans le processus de quantification ne sont souvent pas accessibles au preneur de décision, et encore moins à son sujet.[28] Prouver un lien de causalité avec un motif protégé s’avère donc pratiquement impossible, sauf à analyser, a posteriori, l’impact d’une décision donnée sur un groupe protégé pour démontrer un effet particulièrement désavantageux, ce qui emporte bien souvent la qualification de discrimination indirecte. En ce sens, Hildebrandt souligne que l’invisibilité inhérente aux pratiques de profilage et d’agrégation algorithmique complique la preuve de la discrimination directe (Hildebrandt 2015). Milano et Prunkl souscrivent à cette analyse : « [l]a détection et la preuve de la discrimination [sont] considérablement compliquées » car « [p]our identifier une discrimination, il est nécessaire d’avoir accès à des informations à l’échelle de la population, ainsi que d’être animé par la volonté d’enquêter sur les structures et caractéristiques sur lesquelles repose ladite discrimination » alors même que ces éléments sont « brouillés dans des environnements épistémiquement fragmentés » (Milano et Prunkl 2024, 200). Ainsi, la notion de causalité inhérente à la discrimination directe en droit européen – à savoir l’exigence d’un lien (quasi)causal entre l’atteinte et le motif protégé, la première survenant « en raison » du second – semble mettre en échec la mobilisation de cette notion au plan pratique, notamment probatoire.[29]

Pourtant, le régime probatoire du droit européen de la non-discrimination aménage la charge de la preuve de manière à alléger les difficultés des victimes à faire état, par exemple, de ce lien de causalité. En effet, le droit dérivé prévoit que, « dès lors qu’une personne s’estime lésée par le non-respect à son égard du principe de l’égalité de traitement et établit, devant une juridiction ou une autre instance compétente, des faits qui permettent de présumer l’existence d’une discrimination directe ou indirecte, il incombe à la partie défenderesse de prouver qu’il n’y a pas eu violation du principe de l’égalité de traitement ».[30] Pour Cathy O’Neil, cependant, ce mécanisme d’aménagement de la charge de la preuve pourrait s’avérer insuffisant : « lorsqu[’une victime] tente de contester [un score ou une décision algorithmique], des éléments de preuve ‘suggestifs’ ne suffisent pas. Il faut constituer un dossier irréfutable » (O’Neil 2016, 11). En d’autres termes, « les victimes humaines […] sont tenues à un standard de preuve bien plus élevé que celui auquel sont soumis les algorithmes eux-mêmes » (ibid). Lorsque les asymétries informationnelles, accentuées par les pratiques de gouvernance algorithmique, entravent la possibilité même d’établir une présomption de discrimination directe, il ne reste alors que la voie consistant à établir, prima facie, des effets discriminatoires. À l’inverse de la discrimination directe, la notion de discrimination indirecte, parce qu’elle s’intéresse aux « effets » discriminatoires d’une pratique ou mesure donnée, « apparemment neutre », relaxe cette exigence de causalité. L’affaire de l’algorithme CNAF illustre bien ces difficultés probatoires. Le défaut d’accès aux variables du modèle en cours de déploiement contraint les requérants à s’intéresser aux versions de 2010 et 2014 du modèle, qu’ils ont pu consulter, pour tenter d’établir une présomption de discrimination directe devant le Conseil d’État.[31] Par ailleurs, ils reconnaissent des difficultés probatoires ultérieures : la simulation effectuée pour tester le modèle « souffre de certaines limites dans la mesure où des hypothèses ont dû être faites pour établir les profils des allocataires dont la situation était simulée ».[32] Le régime probatoire de la discrimination indirecte semble moins ardu à satisfaire des lors que des éléments statistiques permettent de générer une vue d’ensemble et de comparer les effets du traitement algorithmique CNAF sur diverses populations.[33] Dans ce cas précis, des études récentes permettent aux requérants d’établir prima facie un désavantage particulier impactant les personnes en situation de précarité économique et les parents isolés, dont une très large majorité sont des femmes, et donc d’une discrimination indirecte en raison de la particulière vulnérabilité économique, de la situation de famille – motifs protégés en droit français – et du sexe.[34] La notion de discrimination indirecte revêt ainsi un certain intérêt, notamment sur le plan probatoire.

Cela étant, ses limites ne sauraient être minimisées, en particulier lorsqu’elle est mobilisée par des individus isolés. En effet, les coûts associés à la collecte des données nécessaires – qu’ils soient financiers, organisationnels, temporels ou liés à l’expertise requise – restreignent fortement le cercle des acteurs en mesure de les assumer, lesquels sont le plus souvent des entités collectives ou institutionnelles. En outre, même si en droit européen l’existence d’une présomption de discrimination indirecte « requiert que la charge de la preuve revienne à la partie défenderesse », les exigences probatoires demeurent difficiles à satisfaire pour les requérants. L’exemple des logiciels de télésurveillance des examens déployés aux Pays-Bas pendant la pandémie de Covid illustre bien ces difficultés. Fondés sur des systèmes de reconnaissance faciale, ces dispositifs ont fait l’objet de vives critiques en raison des dysfonctionnements qu’ils présentent lorsqu’ils sont utilisés par des personnes racisées. Ainsi, l’Institut Néerlandais pour les Droits Humains estimait dans une décision provisoire de 2022, à l’occasion d’un litige opposant une étudiante à l’Université Libre d’Amsterdam, que « la requérante avait présenté suffisamment de faits permettant de présumer que la partie défenderesse avait commis une discrimination raciale indirecte en utilisant le logiciel Proctorio pour superviser les examens » (College voor de Rechten van de Mens, Oordeel 2023-111, 2023, pt. 4.5).[35] Toutefois, l’Institut décidait finalement en 2023 que « la défenderesse n’est pas tenue […] de démontrer qu’il n’y a eu, dans l’ensemble, aucune discrimination fondée sur la race à l’égard d’aucun étudiant dans l’utilisation du logiciel Proctorio. Une telle obligation ne s’appliquerait que si la question était soumise par un organisme représentant tous les étudiants de la défenderesse qui ont passé ces examens, ou par un organisme » ayant locus standi (ibid, pt. 4.7). Ramenant la question au cas individuel de la requérante, l’Institut concluait à l’absence de discrimination indirecte sur le fondement de la race ou de l’origine ethnique dans le traitement algorithmique en cause (ibid, pt. 4.16).[36]

Outre ces difficultés probatoires, le rapprochement avec la notion de discrimination indirecte est problématique à plusieurs autres niveaux. En premier lieu, nous l’avons vu, la discrimination indirecte ouvre la voie à un régime ouvert de justifications qui semble peu adapté face à l’opacité des pratiques de gouvernance algorithmique et aux asymétries informationnelles qu’elles véhiculent. Ensuite – et il s’agit d’une difficulté d’ordre plus conceptuel – la qualification de discrimination indirecte suppose, dans les termes du droit européen, une neutralité du traitement algorithmique quant aux motifs protégés par le droit antidiscriminatoire. Or, la question se pose : au vu de la récurrence et de l’ampleur des biais algorithmiques, ne peut-on pas supposer que, malgré l’apparente objectivité des corrélations établies par les modèles de données, la gouvernance algorithmique représente « l’art de ne pas changer le monde » (Rouvroy 2016) et donc une reconduction de l’ordre social établi et de ses hiérarchies ? La formule « garbage in, garbage out », bien connue des informaticiens, suggère que des corrélations discriminatoires peuvent « se glisser accidentellement » dans les bases de données, que les biais algorithmiques peuvent « involontairement polluer » la prise de décision. Cette formule suggère que le problème serait exogène. Or, la présence de ces biais dans les assemblages algorithmiques est structurelle, systémique, endogène. Les technologies dites de prédiction ne sont au fond que des technologies de conservation de l’ordre social modulées par des enjeux de rentabilité économique. En effet, ces clusters algorithmiques sont « saturés de normativité » et contribuent davantage à la « mutation des vecteurs d’inégalités » qu’à leur démantèlement. Au contraire, même, « les modèles ne se contentent pas de ‘découvrir’ les effets de la discrimination ; ils les automatisent et les perpétuent car ils exploitent les inégalités plutôt que d’y remédier » (Aradau et Blanke 2022, 84). Ainsi, ce qui est en jeu, en tout cas au plan conceptuel, dans la qualification juridique de la discrimination algorithmique en tant que directe ou indirecte, c’est aussi la présomption de neutralité trop facilement accordée aux pratiques de gouvernance algorithmique – une présomption largement alimentée par les discours de l’industrie sur l’objectivité des machines de calculs et la représentativité des données d’entraînement. Ne faudrait-il pas plutôt renverser cette présomption de neutralité pour justement postuler le caractère discriminatoire des pratiques algorithmiques qui reconduisent, en les invisibilisant, les inégalités sociales ? Une telle grille de lecture permettrait également de mieux saisir la manière dont la discrimination algorithmique est coproduite à l’intersection de pratiques épistémiques, sociales, et techniques imbriquées dans les assemblages algorithmiques. En effet, la présence systématique de corrélations discriminatoires – et donc l’encodage redondant des motifs de discrimination – et l’existence de boucles de rétroaction par lequel la discrimination passée devient prophétie auto-réalisatrice suggèrent la nécessité de questionner cette présomption de neutralité algorithmique. En conséquence, il faudrait plutôt présumer l’existence de biais algorithmiques potentiellement discriminatoires.

2. L’algorithme, une machine à « stéréotyper » ?

Bien que la notion de discrimination indirecte présente à priori un certain attrait dans le contexte algorithmique – notamment sur le plan pratique – elle soulève néanmoins de nombreuses difficultés, en particulier d’ordre probatoire et conceptuel. Cette section suggère, en outre, que les liens entre les atteintes discriminatoires induites par les systèmes de gouvernance algorithmique et la notion de discrimination directe sont plus étroits qu’il n’y paraît de prime abord et méritent une analyse approfondie.^[37] Là où certains commentateurs se sont attachés à élaborer une taxonomie des discriminations algorithmiques directes (par ex. Adams-Prassl et al. 2022), cette section s’intéresse plutôt à la manière dont le droit antidiscriminatoire peut appréhender le préjudice inhérent à la neutralisation du sujet. Elle suggère que la notion de stéréotype, reconnue par le juge européen,[38] peut constituer un substrat fertile pour saisir les atteintes à l’autonomie et à la subjectivité perpétrées par les pratiques de gouvernance algorithmique. Comme nous l’avons vu, le profilage et la clusterisation sapent la capacité des individus et des groupes à se définir et à influer sur la manière dont ils sont saisis par et dans les données. La gouvernance algorithmique, par le biais du profilage, créée des doubles sur lesquels individus et groupes, sans possibilité de réflexivité, n’ont aucune emprise. Pour Stiegler, « la statistique personnaliste de la gouvernementalité algorithmique décompose les personnalités en les profilant, les double à travers leurs profils […] et, finalement, articule cette décomposition en graphes permettant d’agir par des calculs de corrélation » (Stiegler 2015, 129). De ces profils sont tirées des relations exploitables par les régimes de gouvernance algorithmique, mais non pour leurs sujets. Ainsi, un calque est plaqué sur les individus et les groupes, qui se trouvent saisis par les données en dehors de toute agentivité.

Comment qualifier ces assignations algorithmiques si ce n’est sous l’angle des stéréotypes, que le juge européen a pu conceptualiser par le passé comme une forme de discrimination directe ?[39] Plusieurs auteurs rapprochent profilage (algorithmique ou non) et stéréotypes. Schauer, par exemple, présente le profilage et les stéréotypes comme des équivalents (Schauer 2003, 6, 18). D’après Hildebrandt, « [l]es profils peuvent être des stéréotypes raisonnablement stables et identifiables, comme dans le profilage humain ordinaire », mais dans ce qu’elle appelle « le monde onlife », « les profils seront souvent plus dynamiques et complexes, bien que leur existence soit en grande partie dissimulée » (Hildebrandt 2015). Dans le contexte de la « crise des régimes de vérité » décrite par Rouvroy, le fait d’être « assimilé à la totalité de notre potentialité », c’est à dire « jugé par avance pour le fait qu’on a un profil un peu comme ceci ou comme cela » (Rouvroy 2015) peut s’apparenter à une forme de stéréotypes imposés aux individus, avec des conséquences potentiellement cruciales pour leur autodétermination. La notion de stéréotypes saisit bien « [c]e dont il s’agit, c’est [à dire] de catégorisation de quantité de personnes, sans s’intéresser à aucune de ces personnes individuellement » (Rouvroy 2015, 122). Ainsi, on pourrait qualifier le profilage comme une forme d’assignation sans possibilité d’individuation qui empêche le sujet de droit. Au plan conceptuel, certaines propriétés de la gouvernementalité algorithmique, et notamment le profilage, rapprochent donc les atteintes discriminatoires qui en résultent du terrain de la discrimination directe, entendue dans le contexte du droit européen.

En examinant les fondements moraux du droit antidiscriminatoire, il apparaît que les modes de gouvernance algorithmique évoqués précédemment mettent en péril au moins deux principes fondamentaux : la dignité et l’autonomie du sujet humain (sur ces points, voir par ex. Solanke 2016 ; Khaitan 2015). En effet, l’illisibilité des sujets synthétiques de la gouvernance algorithmique prive les individus de la capacité à se (re)définir et à contester les assignations qui leur sont imposées. Cette impossibilité entre en tension avec l’une des fonctions du droit antidiscriminatoire – qui apparait par exemple dans la jurisprudence de la Cour de justice relative aux droits des personnes transgenres[40] à savoir protéger la dignité des individus, entendue comme le droit à la construction d’une identité propre et singulière. La tension est ici presque ontologique : le droit antidiscriminatoire, lorsqu’il protège la dignité des individus, les protège justement dans leur individualité et leur singularité, c’est-à-dire qu’il les protège contre un traitement stéréotypé en raison d’un motif protégé (par exemple en interdisant que le coût de leur police d’assurance auto puisse être déterminé par leur sexe, voir ici l’arrêt C-236/09 Association Belge des Consommateurs Test-Achats ASBL and Others v Conseil des ministres EU:C:2011:100). Au contraire, les régimes de gouvernance algorithmique traitent les individus exclusivement sur la base de stéréotypes ou de profils, en raison de leur position dans un ensemble vectoriel donné et de leur proximité avec d’autres profils, et donc jamais en tant qu’individus singuliers.

De même, le droit antidiscriminatoire protège l’autonomie des sujets ou ce que Moreau appelle « l’intérêt de la victime à disposer de libertés délibératives », c’est-à-dire la liberté de choisir comment mener sa vie sans être contraint ou limité en raison de certains motifs protégés (Moreau 2010, 135). Or, les modes de gouvernance algorithmique privent les individus des conditions essentielles à l’exercice de leur autodétermination, c’est à dire la reconnaissance de leur position dans l’espace social ainsi que la compréhension des conséquences matérielles découlant de leur profilage (Xenidis 2023). Comme le souligne Hildebrandt, « il est difficile, voire impossible, d’anticiper ces profils », ce qui met en péril le respect de « l’autonomie humaine » dans le « monde onlife » (Hildebrandt 2015). Ce contrôle algorithmique, qui impose des normes tout en retirant aux usagers la possibilité de choisir de s’y soumettre ou de s’y soustraire, menace donc leur autonomie et leur capacité à s’autodéterminer (Brownsword 2008). Ainsi, le prisme des stéréotypes permet de rapprocher les atteintes discriminatoires induites par les régimes de gouvernance algorithmique du terrain conceptuel et moral de la discrimination directe. Les inquiétudes quant aux stéréotypes discriminatoires des algorithmes ont d’ailleurs pu conduire certains auteurs à suggérer un « droit à codéterminer la manière dont nous sommes ‘lus’ » et profilés par les systèmes algorithmiques (Hildebrandt 2015), ou bien à mobiliser l’opacité et l’inintelligibilité comme des formes de résistance au contrôle algorithmique (Mignot-Mahdavi 2024 ; Gordon et al. 2023). Dans une perspective légèrement différente, on pourrait également envisager la reconnaissance d’un droit plus étendu à la protection contre les stéréotypes algorithmiques.[41] Certains auteurs suggèrent d’ailleurs d’élargir le champ d’application du droit de la non-discrimination aux clusters algorithmiques, en s’appuyant sur les notions d’« immutabilité artificielle » (Wachter 2022) ou de « vulnérabilité induite par l’algorithme » (Malgieri 2020). Ainsi, sur un plan plus conceptuel, la notion de discrimination directe pourrait permettre de mieux saisir certains glissements épistémologiques inhérents au profilage algorithmique. Elle entrainerait alors un régime de responsabilité plus strict que la notion de discrimination indirecte.

B. Repenser la responsabilité : vers un concept d’injonction à la discrimination systémique

Comme l’indique la section précédente, la question de la qualification juridique des discriminations algorithmiques est complexe, tant sur les plans pratique que conceptuel. Une analyse détaillée révèle que la distinction opérée entre discrimination directe et indirecte soulève des enjeux à la fois techniques et normatifs. Comment dépasser ces difficultés ? Cette section se propose de construire un nouvel outil juridique pour penser les discriminations issues des pratiques de gouvernance algorithmique. Pour prendre en charge les limites – à la fois conceptuelles et pratiques – des notions de discrimination directe et indirecte, il s’agit de revisiter la notion de responsabilité à travers le prisme d’un tiers-lieu juridique – la notion d’injonction à pratiquer une discrimination – ancrée dans le droit dérivé mais que le juge européen n’a, à ce jour, pas investi. L’injonction à discriminer englobe « [t]out comportement consistant à enjoindre à quiconque de pratiquer une discrimination à l’encontre de personnes pour l’un des motifs » protégés par le droit antidiscriminatoire.[42] Bien que traditionnellement interprétée comme provenant d’un ordre ou de directives de nature impérative, il a été suggéré que, « [p]our que les pratiques discriminatoires puissent être combattues valablement, il conviendrait de ne pas limiter ce concept aux instructions revêtant, par nature, un caractère contraignant, mais de l’étendre également aux situations dans lesquelles une personne exprime une préférence ou une marque d’encouragement afin que des personnes soient traitées de manière moins favorable que d’autres, en raison du fait qu’elles présentent l’une des caractéristiques protégées » (Agence des Droits Fondamentaux de l’UE 2018, 75). Sur le plan conceptuel, la notion d’injonction à pratiquer une discrimination (en anglais, instruction to discriminate) revêt un intérêt particulier dans le contexte de la gouvernance algorithmique et de l’automatisation, car elle évoque le fonctionnement des algorithmes, lesquels peuvent être définis comme des suites d’instructions visant à automatiser certaines tâches ou opérations.

Cette notion permettrait aussi de dépasser certaines difficultés liées aux concepts de causalité et de sujet illustrées précédemment. Tout d’abord, la notion d’injonction à discriminer est propice au renversement de la présomption de neutralité généralement accordée aux traitements algorithmiques et permettrait donc de mieux prendre en compte la présence structurelle, systémique et endogène des biais au sein des assemblages algorithmiques. En effet, l’exemple de l’algorithme CNAF montre bien comment ces pratiques d’automatisation exacerbent et amplifient des discriminations socialement et historiquement ancrées (Dubois 2021). Renverser cette présomption de neutralité rendrait compte de manière plus adéquate de l’ubiquité de ces biais et de l’action profondément conservatrice de ces technologies sur un ordre social marqué par des inégalités profondes et historiquement stabilisées. Quelles pourraient-être les conséquences d’une telle présomption pour la notion de responsabilité ? Moreau suggère que la discrimination peut être pensée comme une forme de négligence, non pas au sens juridique, mais plutôt moral (Moreau 2010). Elle soutient que le raisonnement sous-jacent à la notion de discrimination directe devrait « être étendu à l’utilisation accidentelle ou irréfléchie de règles et de pratiques ayant un effet défavorable disproportionné sur un groupe protégé, car, si de telles règles étaient tolérées, elles pourraient, en servant de substituts aux motifs de discrimination prohibés, affaiblir substantiellement les effets bénéfiques du droit de la non-discrimination » (Moreau 2018, 26). Cette proposition se justifie par le fait que « l’adoption d’une telle règle n’est pas un acte entièrement innocent […], car l’effet défavorable pouvait être prévisible, ou aurait dû l’être, et l’auteur de la règle n’a peut-être pris aucune mesure pour en vérifier les justifications » (ibid, 28). L’Avocate Générale Sharpston, dans ses conclusions parallèles sous C-804/18 et C-341/19 IX contre WABE eV et MH Müller Handels GmbH contre MJ, faisait un constat similaire et invitait à « se demander si notre compréhension de ce qui constitue une discrimination directe ne devrait pas être révisée », suggérant que « lorsqu’un employeur impose un critère dont il sait, ou devrait raisonnablement savoir, qu’il placera inévitablement un membre d’un groupe particulier dans une situation moins favorable en raison de l’un des motifs [protégés], cela devrait être assimilé à un traitement moins favorable […] (discrimination directe) » (Sharpston 2021, pt. 262-263). Dès lors, l’injustice morale liée à la discrimination directe subsiste « sous une forme légèrement affaiblie ou atténuée » que Moreau comprend comme une forme de négligence morale (2018). Selon elle, cette négligence ne s’entend pas au sens classique de la responsabilité (quasi-)délictuelle, comme par exemple la création d’un risque déraisonnable ou un défaut de précaution, mais bien plutôt comme un défaut d’aménagement raisonnable (2010, 135).[43] Pour Moreau, une mesure est discriminatoire parce qu’elle est « ‘déraisonnable’ au sens spécifique où elle ne prévoit pas d’aménagements raisonnables lorsque de tels aménagements ne représenteraient pas une contrainte excessive [pour un acteur donné…] ou parce qu’elles portent atteinte aux droits des victimes à certaines libertés délibératives fondamentales » (ibid). Dans une perspective légèrement différente, Hellman propose le « principe de non-aggravation de l’injustice » pour saisir la responsabilité inhérente à l’amplification des discriminations liées à l’usage des nouvelles technologies et des big data (Hellman 2021). Ainsi, l’ampleur et la prévisibilité des biais algorithmiques justifieraient de traiter le défaut de prise en compte et de prévention des effets discriminatoires de la gouvernance algorithmique comme une forme de négligence discriminatoire, une injonction à pratiquer une discrimination par le biais des technologies d’automatisation.[44] Toutefois, il ne s’agit pas, là non plus, de réduire la notion de discrimination à une simple forme de négligence. La notion d’injonction à discriminer, en intégrant une présomption réfragable quant à l’existence de biais algorithmiques potentiellement discriminatoires, représenterait plutôt un allègement supplémentaire de la charge de la preuve pour les victimes de discriminations algorithmiques. Un tel mécanisme pourrait venir compléter les dispositifs existants d’aménagement de la charge de la preuve et d’attribution de la responsabilité, qui continueraient à s’appliquer dans un second temps, afin d’offrir une réponse plus adaptée aux difficultés probatoires précédemment exposées. Dès lors, la responsabilité du défendeur serait susceptible d’être engagée dès lors que (mais pas exclusivement lorsque) l’on constaterait un défaut de prévention de la discrimination algorithmique.[45]

Afin de dépasser les difficultés liées aux exigences de causalité et d’imputabilité individuelle, la notion d’injonction à discriminer doit cependant être revisitée dans une perspective systémique. En empruntant à la fois aux fondements théoriques de la discrimination directe et indirecte, cette approche pourrait contribuer à renforcer la responsabilité de ceux que le Règlement sur l’IA désigne comme les « déployeurs »[46] de systèmes d’IA, tout en continuant à faire l’économie d’une démonstration de causalité. En effet, la notion d’injonction à discriminer ne doit pas être comprise comme véhiculant l’illusion qu’il existerait seulement de « mauvais algorithmes », des algorithmes « biaisés » et des « machines racistes », nourries de « mauvaises données », et qu’il faudrait simplement réparer ou débiaiser (Hoffman 2019). Ce serait adhérer au récit selon lequel un biais s’introduit accidentellement dans un système algorithmique tel une « erreur » technique, exogène et ponctuelle qui peut être corrigée par des interventions techniques, plutôt que d’un problème structurel et profondément social. Pour éviter cet écueil, il peut être utile de penser cette notion d’injonction à discriminer à travers les travaux de philosophie morale qui s’intéressent à l’injustice dite structurelle (Young 2011). Dans le cadre d’une analyse de la chaîne de valeur mondiale de l’IA, Wodajo propose en ce sens de revisiter la notion de responsabilité à l’aune de deux problèmes majeurs (2025).[47] D’une part la multiplicité et l’interdépendance des acteurs impliqués dans la fabrique de ces technologies – des travailleurs du clic chargés de « nettoyer » et de labéliser les données, aux développeurs de modèles algorithmiques, en passant par l’extraction des matières premières nécessaires à la fabrication des composants matériels de l’IA –mettent à l’épreuve les doctrines classiques de la responsabilité fondées sur l’existence d’un lien de causalité entre une action et un préjudice donnés, et sur l’imputabilité (individuelle ou même collective) de ce préjudice (Wodajo 2025). D’autre part, ces préjudices sont souvent systémiques car ils émergent, sur le long terme et de manière cumulative, des interactions entre ces acteurs multiples et les structures institutionnelles et normatives qui permettent et normalisent leurs pratiques (ibid). Une approche structurelle des pratiques de gouvernance algorithmique faciliterait ainsi une compréhension des discriminations algorithmiques comme un ensemble d’atteintes « qui se combinent, interagissent et prennent à la fois la forme de discriminations directes et indirectes envers un groupe stigmatisé, c’est-à-dire des comportements visant à exclure ou à défavoriser de manière volontaire ou non, perpétuant également les effets de décisions anciennes, de discriminations subies, de croyances, de règles qui se maintiennent et de stéréotypes ancrés » (Latraverse 2020, 47), sans avoir à en isoler les causes pour dessiner les contours de la responsabilité. Ces considérations invitent, en suivant le raisonnement de Freeman, à repenser la responsabilité du point de vue des victimes de discrimination plutôt que de celui de leurs auteurs (1978, 1055-1056). Alors que « l’exigence de causalité sert à distinguer, parmi l’ensemble des conditions que la victime perçoit comme étant associées à la discrimination, celles que le droit prendra effectivement en compte », une approche systémique implique que le droit antidiscriminatoire prenne en charge l’ensemble de ces conditions sans faire peser sur la victime « le fardeau presque insoutenable d’isoler les conditions particulières de la discrimination qui sont produites par le comportement d’un auteur identifié et jugé coupable, et qui lui sont mécaniquement liées, et ce, indépendamment du fait que d’autres conditions discriminatoires, imputables à d’autres auteurs, devraient également être réparées » (Freeman 1978, 1056). Dans le cadre des discriminations algorithmiques – dont l’exemple du traitement CNAF illustre bien les dimensions structurelles – qui impliquent une chaine de valeur souvent complexe aux acteurs multiples, une notion d’injonction à pratiquer (ou perpétuer et amplifier) une discrimination systémique favoriserait une compréhension « positive » de la responsabilité qui pourrait s’articuler autour d’un devoir de prévention et de mesures d’action positive.[48] La notion d’injonction à la discrimination en droit européen, revisitée dans une perspective systémique, pourrait donc constituer un substrat théorique intéressant pour repenser la responsabilité – et plus largement la notion de discrimination – dans le contexte de la gouvernance algorithmique.

Conclusion

Cette contribution s’est attachée à examiner comment la gouvernementalité algorithmique interroge certains fondements épistémologiques et certains notions centrales du droit antidiscriminatoire, notamment la relation de causalité avec un motif protégé, le sujet de droit et la responsabilité. Cet article a illustré comment, en conséquence, le droit européen peine à pleinement prendre en charge la discrimination algorithmique à travers ses catégories traditionnelles : la discrimination directe et indirecte. Face à ce défi, cet article propose une approche alternative considérant les pratiques de gouvernance algorithmique comme des injonctions automatisées à pratiquer une discrimination, ou en d’autres termes, des injonctions à automatiser les discriminations. Envisagée dans une perspective systémique, cette notion offre le double avantage de clarifier l’attribution des responsabilités liées aux discriminations induites par la gouvernance algorithmique, tout en encourageant le développement de stratégies axées sur la prévention.

Bibliographie

Adams‐Prassl, J., et al. (2022). “Directly Discriminatory Algorithms”. The Modern Law Review 85(6): 144-175.
Agence des Droits Fondamentaux de l’UE. (2018). Manuel de droit européen en matière de non-discrimination. Luxembourg : Office des publications de l’Union européenne.
Amnesty International (2024). « Europe : les algorithmes des systèmes de protection sociale ciblent les plus précaires ». Accessible sur : <https://www.amnesty.fr/liberte-d-expression/actualites/les-algorithmes-des-systemes-de-protection-sociale-accentuent-les-discriminations>.
Anderson, C. (2008). “The End of Theory: The Data Deluge Makes the Scientific Method Obsolete”. Wired. Accessible sur <https://www.wired.com/2008/06/pb-theory/>.
Angwin, J., et al. (2016). “Machine Bias”. Accessible sur <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.
Aradau, C. and Blanke, T. (2022). Algorithmic Reason: The New Government of Self and Other (Oxford University Press).
Ayada, S. (2022). From Contesting Gender Stereotypes to Questioning Anti-Stereotyping: A Critical Analysis of the CJEU Gender Equality Jurisprudence (European University Institute).
Binns, R. “Algorithmic Decision-making: A Guide For Lawyers” (2020) 25 Judicial Review 2.
Borgesius, F. J. (2020). “Strengthening legal protection against discrimination by algorithms and artificial intelligence”. The International Journal of Human Rights: 1-22.
Brownsword, R. (2008). Rights, regulation, and the technological revolution (Oxford University Press).
Cardon, D., Cardon, D. (2015). « À quoi rêvent les algorithmes. Nos vies à l’heure: Nos vies à l’heure des Big data », Média Diffusion.
Chun, W. H. K. (2021). Discriminating Data: Correlation, Neighborhoods, and the New Politics of Recognition (MIT Press)
Défenseur des Droits (2024). Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? Points de vigilance et recommandations.
Deleuze, G. (1990). Post-scriptum sur les sociétés de contrôle. Paris, Les Éditions de Minuit.
Dubois, V. (2021). Contrôler les assistés : Genèses et usages d’un mot d’ordre. Raisons d’agir.
Freeman, A. D. (1978). “Legitimizing Racial Discrimination Through Antidiscrimination Law: A Critical Review of Supreme Court Doctrine”. Minnesota Law Review 62.
Gerards, J. and R. l. Xenidis (2021). Algorithmic discrimination in Europe: Challenges and Opportunities for EU Gender Equality and Non-Discrimination Law. Luxembourg, European network of legal experts in gender equality and non-discrimination / European Commission.
Gordon, G., et al. (2023). “The Critical Subject and the Subject of Critique in International Law and Technology”. AJIL Unbound 117: 134-138.
Hacker, P. (2018). “Teaching fairness to artificial intelligence: Existing and novel strategies against algorithmic discrimination under EU law”. Common Market Law Review 55(4): 1143-1185.
Hellman, D. (2021). “Big Data and Compounding Injustice”. Virginia Public Law and Legal Theory Research Paper No. 2021-27
Hildebrandt, M. (2015) Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology (Edward Elgar).
Hoffmann, A. L. (2019). “Where fairness fails: data, algorithms, and the limits of antidiscrimination discourse”. Information, Communication & Society 22(7): 900-915.
Inghilterra R. (2024) « L’instauration d’une « technopolice » administrative en milieu urbain : les droits et libertés sur un fil ». Revue des droits de l’homme 26.
Jasanoff, S. (2004). The idiom of co-production. States of knowledge, Routledge: 1-12.
Khaitan, T. (2015). A theory of discrimination law. OUP Oxford.
Kelly-Lyth, A. (2021). “Challenging Biased Hiring Algorithms”. Oxford Journal of Legal Studies 41(4): 899-928.
Latraverse, S. (2020). « Réflexions sur l’action de groupe en matière de discrimination en emploi et le rôle du défenseur des droits ». Marie MERCAT-BRUNS, Nouveaux modes de détection et de prévention de la discrimination et accès au droit : Action de groupe et discrimination systémique ; algorithmes et préjugés ; réseaux sociaux et harcèlement. Société de législation comparée.
Lighthouse Reports (2024). « Sweden’s Suspicion Machine ». Accessible sur : <https://www.lighthousereports.com/investigation/swedens-suspicion-machine/>.
Malgieri, G. and Niklas, J. (2020). “Vulnerable Data Subjects”. Computer Law & Security Review 37.
Martínez-Ramil, P. (2022). “Discriminatory algorithms. A proportionate means of achieving a legitimate aim?”. Journal of Ethics and Legal Technologies 4(1): 3-24.
McKeown, M. (2024). “Pure, avoidable, and deliberate structural injustice”. In What is Structural Injustice?. Oxford University Press.
Metz, T. (2021). A relational moral theory: African ethics in and beyond the continent. Oxford University Press.
Mignot-Mahdavi, R. (2024). “Anti-Solutionism and Anti-Formalism in Global Algorithmic Governance Studies”. European Journal of International Law 35(1): 221–234.
Milano, S. and C. Prunkl (2024). “Algorithmic Profiling as a Source of Hermeneutical Injustice”. Philosophical Studies: 185-203.
Moreau, S. (2010). “Discrimination as Negligence”. Canadian Journal of Philosophy 40: 123.
Moreau, S. (2018). “The Moral Seriousness of Indirect Discrimination”. H. Collins and T. Khaitan (eds). Foundations of Indirect Discrimination Law. Oxford, Hart Publishing.
Petersmann, M. and D. Van Den Meerssche (2023). “On phantom publics, clusters, and collectives: be(com)ing subject in algorithmic times”. AI & Society: 1-18.
Porta, J. (2020). « Algorithmes et risques discriminatoires », Marie Mercat-Bruns, Nouveaux modes de détection et de prévention de la discrimination et accès au droit : Action de groupe et discrimination systémique ; algorithmes et préjugés ; réseaux sociaux et harcèlement, Société de législation comparée.
Riles, A. (2005). “A New Agenda for the Cultural Study of Law: Taking on the Technicalities”. 53 Buff L Rev 973.
Romain, M., Senecat, A., Pénicaud, S., Geiger, G., Braun, J.-C. (2023). « How We Investigated France’s Mass Profiling Machine » (Lighthouse Reports & Le Monde). Accessible sur : <https://www.lighthousereports.com/methodology/how-we-investigated-frances-mass-profiling-machine/>.
Rouvroy, A. and T. Berns (2013). « Gouvernementalité algorithmique et perspectives d’émancipation : Le disparate comme condition d’individuation par la relation ? ». Réseaux 177.
Rouvroy, A. and B. Stiegler (2015). « Le régime de vérité numérique : De la gouvernementalité algorithmique à un nouvel État de droit ». Socio : La nouvelle revue des sciences sociales 4.
Rouvroy, A. (2016). « L’art de ne pas changer le monde ». La Revue Nouvelle 8: 44-50.
Sharpston, E. (2021). Shadow Opinion of former Advocate-General Sharpston: headscarves at work (Cases C-804/18 and C-341/19). EU Law Analysis. Accessible sur : <http://eulawanalysis.blogspot.com/2021/03/shadow-opinion-of-former-advocate.html>.
Solanke, I. (2016). Discrimination as stigma: A theory of anti-discrimination law. Bloomsbury Publishing.
Sullivan, G. (2022). “Law, technology and data-driven security: Infra-legalities as method assemblage”. Journal of Law and Society: 1-20.
Tréguer, F. (2024). Technopolice, la surveillance policière à l’ère de l’intelligence artificielle. Divergences.
Van Den Meerssche, D. (2022). “Virtual borders: International law and the elusive inequalities of algorithmic association”. 33 European Journal of International Law 171.
Wachter, S. (2022). “The Theory of Artificial Immutability: Protecting Algorithmic Groups Under Anti-Dis- crimination Law”. Tulane Law Review 97: 149.
Winner, L. (1980). “Do Artifacts Have Politics?” Daedalus 109(1): 121-136.
Wodajo, K. (2025). “Making sense of responsibility in the Global Data Value Chain”. R. Anton, A. Lafarre, B. Rombouts, P. Verbruggen and D. Bose (eds). The Cambridge Handbook of Law and Responsible Business: Legal Strategies for Sustainability in Global Value Chains. Cambridge University Press.
Xenidis, R. and L. Senden (2019). “EU Non-discrimination Law in the Era of Artificial Intelligence: Mapping the Challenges of Algorithmic Discrimination. General Principles of EU Law and the EU Digital Order”. U. Bernitz, X. Groussot, J. Paju and S. A. de Vries. Alphen aan den Rijn, Wolters Kluwer.
Xenidis, R. (2021). “Tuning EU Equality Law to Algorithmic Discrimination: Three Pathways to Resilience”. Maastricht Journal of European and Comparative Law 27(6): 736-758.
Xenidis, R. (2023). “Beyond bias: algorithmic machines, discrimination law and the analogy trap”. Transnational Legal Theory: 1-35.
Xenidis, R. (2025). « Algorithmes et discriminations au prisme de l’intersectionnalité ». Revue des droits de l’Homme 27: 71-81.
Young, I. M. (2011). Responsibility for Justice. Oxford University Press.

[1] Voir par ex. Défenseur des Droits (2024). Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? Points de vigilance et recommandations ; Amnesty International (2024). « Europe : les algorithmes des systèmes de protection sociale ciblent les plus précaires ». Accessible sur : <https://www.amnesty.fr/liberte-d-expression/actualites/les-algorithmes-des-systemes-de-protection-sociale-accentuent-les-discriminations>; Lighthouse Reports (2024). « Sweden’s Suspicion Machine ». Accessible sur : <https://www.lighthousereports.com/investigation/swedens-suspicion-machine/>.

[2] Voir par ex. La Quadrature du Net. (2024). « France Contrôle : Gestion algorithmique des populations », accessible sur : <https://www.laquadrature.net/francecontrole/>.

[3] En matière de police par exemple, voir Tréguer, F. (2024). Technopolice, la surveillance policière à l’ère de l’intelligence artificielle, Divergences ; Robin Medard Inghilterra, ‘L’instauration d’une « technopolice » administrative en milieu urbain : les droits et libertés sur un fil’ (2024) 26 Revue des droits de l’homme .

[4] Les institutions européennes s’appuient notamment sur la notion de human-centric AI. Ainsi, pallier les « risques » éthiques, sociaux et juridiques liés à l’IA nécessiterait de « (re)mettre l’humain au centre de l’IA ». Voir par ex., Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – Building Trust in Human Centric Artificial Intelligence (COM(2019)168).

[5] Voir Règlement (UE) 2024/1689 du Parlement Européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle (Règlement sur l’Intelligence Artificielle). Si le considérant 83 du Règlement sur l’IA reconnait « la complexité de la chaîne de valeur des systèmes d’IA » et l’article 25 l’interdépendance des différents acteurs qui la composent, le Règlement sur l’IA reste cependant ancré dans une logique de sécurité des produits. Voir par ex. le Chapitre III sur les systèmes à haut risque, et notamment l’article 40 sur la normalisation.

[6] Les études des sciences et technologies (STS) « explorent le pouvoir de transformation des sciences et des technologies qui structurent et restructurent les sociétés contemporaines » (Felt et al. 2016, 20).

[7] Directive 2004/113/CE du Conseil du 13 décembre 2004 mettant en œuvre le principe de l’égalité de traitement entre les femmes et les hommes dans l’accès des biens et services et la fourniture de biens et services OJ L 373/37 et Directive 2006/54/CE du Parlement Européen et du Conseil du 5 juillet 2006 relative à la mise en œuvre du principe de l’égalité des chances et de l’égalité de traitement entre hommes et femmes en matière d’emploi et de travail (refonte) OJ L 204/23. Voir aussi C-13/94 P contre S et Cornwall County Council. EU:C:1996:170.

[8] Directive 2000/43/CE du Conseil du 29 juin 2000 relative à la mise en œuvre du principe de l’égalité de traitement entre les personnes sans distinction de race ou d’origine ethnique OJ L 180/22.

[9] Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16.

[10] L’article 21(1) stipule : « est interdite toute discrimination fondée notamment sur le sexe, la race, la couleur, les origines ethniques ou sociales, les caractéristiques génétiques, la langue, la religion ou les convictions, les opinions politiques ou toute autre opinion, l’appartenance à une minorité nationale, la fortune, la naissance, un handicap, l’âge ou l’orientation sexuelle ».

[11] Voir par ex. C-13/05 Sonia Chacón Navas contre Eurest Colectividades SA EU:C:2006:456 ou C-354/13 Fag og Arbejde (FOA) v Kommunernes Landsforening (KL) EU:C:2014:2463.

[12] Il est important de noter que l’intentionnalité d’un traitement discriminatoire ou son absence ne joue aucun rôle dans cette distinction. Autrement dit, en droit européen, une discrimination peut être directe sans être intentionnelle.

[13] Voir par ex. Article 2(2)(a), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16 (nous soulignons).

[14] Voir C-177/88 Elisabeth Johanna Pacifica Dekker contre Stichting Vormingscentrum voor Jong Volwassenen (VJV-Centrum) Plus EU:C:1990:383.

[15] Voir C‑16/19 VL contre Szpital Kliniczny im. dra J. Babińskiego Samodzielny Publiczny Zakład Opieki Zdrowotnej w Krakowie EU:C:2021:64.

[16] Voir par ex. Article 2(2)(b), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16 (nous soulignons).

[17] Voir par ex. C-96/80 J.P. Jenkins contre Kingsgate (Clothing Productions) Ltd. EU:C:1981:80.

[18] Par exemple, l’Article 4 de la Directive 2000/78 prévoit que « les États membres peuvent prévoir qu’une différence de traitement fondée sur une caractéristique liée à l’un des motifs visés à l’article 1er ne constitue pas une discrimination lorsque, en raison de la nature d’une activité professionnelle ou des conditions de son exercice, la caractéristique en cause constitue une exigence professionnelle essentielle et déterminante, pour autant que l’objectif soit légitime et que l’exigence soit proportionnée ». Pour plus de détails sur les dérogations admises par le droit de l’UE à l’interdiction de discrimination directe, voir par ex. Xenidis, R. (2022). The Concept of Direct Discrimination in European Anti-Discrimination Law: Theory, Practice and Limits. iCourts Working Paper Series, no. 285. Forthcoming in Colm O’Cinneide, Julie Ringelheim, Iyiola Solanke (eds.). Research Handbook on European Anti-Discrimination Law (Edward Elgar).

[19] Voir par exemple Article 2(2)(b)(i), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16.

[20] Voir par ex. le débat au sujet des mesures de fairness appliquées au système COMPAS : Angwin, J., et al. (2016). « Machine Bias. » Accessible sur : <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.

[21] Voir aussi La Quadrature du Net. (2024). « France Contrôle : Gestion algorithmique des populations », accessible sur : <https://www.laquadrature.net/francecontrole/>.

[22] Soit parce que certaines variables ne sont pas communiquées, comme c’est le cas pour la version contemporaine de l’algorithme CNAF, ou parce que la complexité des modèles les rend inintelligibles. L’exemple de l’investigation de l’algorithme CNAF, menée par Lighthouse Reports et Le Monde, illustre bien les enjeux en matière de ressources et d’expertise. Voir Romain, M., Senecat, A., Pénicaud, S., Geiger, G., Braun, J.-C. (2023). « How We Investigated France’s Mass Profiling Machine » (Lighthouse Reports & Le Monde). Accessible sur : <https://www.lighthousereports.com/methodology/how-we-investigated-frances-mass-profiling-machine/>. Voir aussi la requête introductive devant le Conseil d’État : La Quadrature du Net et al. (2024) Requête introductive d’instance du 16 octobre 2024. Accessible sur : <https://www.laquadrature.net/wp-content/uploads/sites/8/2024/10/LQDN_Cnaf_Memoire_Introductif_anon.pdf>.

[23] La Cour de Justice de l’UE a reconnu des cas de discrimination « par association », par exemple en raison de l’orientation sexuelle supposée d’un joueur de football ou de l’appartenance supposée d’une habitante d’un quartier à un groupe ethnique donné. Voir C-81/12 Asociaţia Accept contre Consiliul Naţional pentru Combaterea Discriminării EU:C:2013:275 et C-83/14 « CHEZ Razpredelenie Bulgaria » AD v Komisia za zashtita ot diskriminatsia EU:C:2015:480.

[24] Voir par ex. Article 2(2)(a)(b), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16 (nous soulignons).

[25] Sur ce point, le droit à l’explication consacré par la Cour de Justice de l’UE dans le récent arrêt C-203/22 Dun & Bradstreet Austria EU:C:2025:117 présente une avancée importante. Sur ce point, voir note 34 (infra) et la contribution de Mathilde Unger dans ce dossier.

[26] Ce postulat fait bien évidemment l’objet de nombreuses critiques par ailleurs, notamment parce que l’autonomie du sujet n’existe qu’à travers les conditions matérielles de son exercice, et donc à travers les inégalités sociales. Par exemple, le droit de la non-discrimination ignore, dans une large mesure, la manière dont les hiérarchies sociales affectent la prise en charge des expériences de discrimination des groupes marginalisés.

[27] Ces qualifications semblent en partie liées à un placage des notions juridiques américaines de disparate treatment et disparate impact en droit européen, dont la notion de discrimination directe est pourtant plus large et ne requiert pas d’intentionnalité (voir Xenidis et Senden, 2020, 19). Nous avons pu critiquer l’utilisation de la notion de discrimination indirecte comme « un refuge conceptuel » (voir Gerards et Xenidis 2020, 143-144) et exposer les liens conceptuels entre discrimination directe et injustices algorithmiques (Xenidis 2020, 748-749).

[28] Même si la CJUE a récemment tranché en faveur d’un droit à l’explication, voir C‑203/22 Dun & Bradstreet Austria EU:C:2025:117, voir notes 29 et 34 (supra).

[29] Trois cas de figure peuvent se présenter : soit un traitement moins favorable survient en raison d’un motif protégé, par exemple lorsqu’un employeur déclare publiquement qu’il ne recrutera pas de candidats « allochtones » (voir par ex. C-54/07 Centrum voor gelijkheid van kansen en voor racismebestrijding contre Firma Feryn NV EU:C:2008:397) ; soit un traitement apparemment neutre affecte en fait l’ensemble d’un groupe protégé, par exemple lorsqu’un régime de prévoyance exige qu’un couple soit marié pour en bénéficier alors que le mariage n’est pas accessible aux couples de même sexe (voir par ex. C-267/06 Tadao Maruko contre Versorgungsanstalt der deutschen Bühnen EU:C:2008:179) ; soit un traitement est fondé sur un critère indissociablement lié à un motif protégé, par exemple un règlement interne interdisant le port de signes religieux de grande taille (voir par ex. C-804/18 et C-341/19 IX contre WABE eV et MH Müller Handels GmbH contre MJ EU:C:2021:594). Dans un quatrième cas de figure, la discrimination directe peut survenir « par association » avec un groupe protégé, voir note 27 (supra).

[30] Voir par ex. Article 10(1), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 303/16.

[31] Voir La Quadrature du Net et al. (2024). Requête introductive d’instance du 16 octobre 2024. Accessible sur : <https://www.laquadrature.net/wp-content/uploads/sites/8/2024/10/LQDN_Cnaf_Memoire_Introductif_anon.pdf>.

[32] Voir ibid, pt. 183.

[33] Il faut noter que le droit européen n’exige pas de présenter des éléments statistiques pour établir une présomption de discrimination indirecte. Voir par ex. le considérant n°15 de la Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 303/16 : « L’appréciation des faits qui permettent de présumer l’existence d’une discrimination directe ou indirecte appartient à l’instance judiciaire nationale ou à une autre instance compétente, conformément au droit national ou aux pratiques nationales, qui peuvent prévoir, en particulier, que la discrimination indirecte peut être établie par tous moyens, y compris sur la base de données statistiques. »

[34] Voir ibid pt. 165-166. La requête introductive s’appuie notamment sur les travaux suivants : Dubois, V. (2021). Contrôler les assistés : Genèses et usages d’un mot d’ordre. Raisons d’agir.

[35] La requérante avait en effet invoqué divers travaux, notamment académiques, sur les biais inhérents à la reconnaissance faciale en general, et le logiciel Proctorio en particulier. L’institut Néerlandais pour les Droits Humains invoque par ex. : J. Buolamwini and T. Gebru, ‘Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification’, 81 Proceedings of Machine Learning Research (2018) 77-91 and H. F. Menezes, A. S. C. Ferreira, E. T Pereira and H. M Gomes, ‘Bias and Fairness in Face Detection’, 2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2021, pp. 247-254). Voir College voor de Rechten van de Mens, Oordeel 2022-146 (7 Décembre 2022). Accessible sur : <https://oordelen.mensenrechten.nl/oordeel/2022-146>.

[36] L’Institut concluait cependant « que la défenderesse a[vait] commis une discrimination interdite fondée sur la race en ne traitant pas la plainte pour discrimination de la requérante avec suffisamment de diligence et, par conséquent, avec suffisamment de soin ». Voir College voor de Rechten van de Mens, Oordeel 2023-111, 17 Octobre 2023, pt. 6.8. Accessible sur : <https://oordelen.mensenrechten.nl/oordeel/2023-111>.

[37] Voir sur ce point, Xenidis, R. (2021). « Tuning EU Equality Law to Algorithmic Discrimination: Three Pathways to Resilience. » Maastricht Journal of European and Comparative Law 27(6), 748-749.

[38] Sur ce point, voir par ex. Ayada, S. (2022). From Contesting Gender Stereotypes to Questioning Anti-Stereotyping: A Critical Analysis of the CJEU Gender Equality Jurisprudence (European University Institute).

[39] L’Avocate Générale Kokott, par exemple, dans ses conclusions sous Achbita, considérait que dans le cas d’« une interdiction repos[ant] sur des stéréotypes ou des préjugés contre une ou plusieurs religions données, ou même contre les convictions religieuses en général », il « faudrait […] sans aucun doute constater l’existence d’une discrimination directe sur la base de la religion ». Voir l’affaire C‐157/15 Samira Achbita and Centrum voor gelijkheid van kansen en voor racismebestrijding v G4S Secure Solutions NV EU:C:2016:382, [55]. Citant l’arrêt C‑83/14 CHEZ Razpredelenie Bulgaria EU:C:2015:480, [82], elle ajoute que « la Cour considère comme indice de discrimination directe (sur la base de l’origine ethnique) le fait qu’une pratique repose sur des stéréotypes ou des préjugés contre un groupe de personnes déterminées » (note n° 30).

[40] Voir par exemple l’arrêt C-13/94 P contre S et Cornwall County Council EU:C:1996:170, où la Cour protège le droit des individus à affirmer leur identité de genre.

[41] En l’état, ce droit existe de manière limitée à l’Article 22 du Règlement 2016/679 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données (Règlement général sur la protection des données ou RGPD) qui consacre, pour une personne, « le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire ». Voir C-634/21 SCHUFA Holding (Scoring) EU:C:2023:957. Voir aussi la décision C-203/22 Dun & Bradstreet Austria EU:C:2025:117 qui consacre un droit à l’explication en vertu de l’article 15(1)(h) du RGPD, nécessaire pour « exercer de manière efficace les droits […] reconnus par l’article 22(3) » du RGPD.

[42] Voir par ex. Article 2(4), Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 303/16.

[43] Une forme juridique de cette notion existe en droit européen, en lien avec la discrimination contre les personnes en situation de handicap. Voir Article 5, Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16.

[44] Cette proposition s’inscrit dans la lignée de l’arsenal juridique que le législateur européen avait envisagé dans une Proposition de Directive relative à l’adaptation des règles en matière de responsabilité civile extracontractuelle au domaine de l’intelligence artificielle COM(2022) 496 final. Elle prévoyait notamment une réponse partielle aux difficultés probatoires exposées à travers deux mécanismes – la divulgation d’éléments de preuve et la présomption d’un lien de causalité en cas de faute (en lien avec le Règlement sur l’IA). Cette proposition a toutefois été retirée en 2025, sans qu’une alternative ne soit proposée.

[45] L’évaluation de ces mesures de prévention pourrait s’articuler autour d’un critère de proportionnalité, calqué par exemple sur l’appréciation du caractère raisonnable des aménagements dus, en droit européen, aux personnes en situation de handicap. Voir Article 5, Directive 2000/78/CE du Conseil du 27 novembre 2000 portant création d’un cadre général en faveur de l’égalité de traitement en matière d’emploi et de travail OJ L 103/16. Un tel mécanisme permettrait également de répondre, partiellement, aux difficultés liées à la justification des discriminations indirectes en déplaçant, dans un premier temps, le contrôle de proportionnalité sur le terrain de l’appréciation des mesures de prévention.

[46] C’est-à-dire toute « personne physique ou morale, autorité publique, agence ou autre organisme utilisant un système d’IA sous son autorité ». Voir Article 3(4) du Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle.

[47] L’analyse de Wodajo s’appuie également sur l’éthique afro-communautaire (voir par ex. Metz 2021) qui met en avant les dimensions relationnelles et communautaires de la justice.

[48] Prolongeant la notion de discrimination indirecte tout en la dépassant, cette approche pourrait moduler le devoir de prévention de la discrimination algorithmique – à travers le paramètre de la proportionnalité – sur le fondement de considérations comme la capacité des ‘déployeurs’ (Freeman 1978), leurs conditions de pouvoir et de privilège (Young 2011) et le caractère évitable de ces atteintes discriminatoires (McKeown 2024).