Profils et préjudices : contester son score de solvabilité devant la Cour de justice de l’Union européenne

Chronique classée dans Dossier, Droit de l'Union Européenne

Appartient au dossier : "Constitutionnalisme numérique et approches critiques en droit et technologie"

RDLF 2025 chron. n°37

Mot(s)-clef(s): Algorithme, Cour de justice de l'Union européenne, Discrimination, Donnés personnelles, Profilage, RGPD, Scoring

Imprimer ou version PDF

Par Mathilde Unger, Maîtresse de conférences en droit public à l’Université de Strasbourg.

Le profilage s’est généralisé ces dernières années en raison du volume croissant de données personnelles disponibles et de l’évolution des outils permettant leur analyse. Ces techniques sont mises au service de l’examen des candidatures à un prêt bancaire, un visa, une formation universitaire, un logement social ou encore un emploi. Dans toutes ces opérations, un individu est rattaché à une classe d’individus sur la base de corrélations fréquentes observées entre leurs comportements, c’est-à-dire par l’analyse statistique d’un large ensemble de données. Le profil ainsi établi permet aux acteurs publics ou privés d’évaluer un individu en lui assignant par exemple un score de risque ou de réussite. Ces procédures font l’objet de nombreuses contestations, au motif qu’elles sont opaques, injustes, stigmatisantes ou discriminatoires. En octobre 2024, plusieurs associations ont ainsi attaqué la Caisse nationale d’allocations familiales devant le Conseil d’État, arguant que l’algorithme de notation utilisé pour identifier les fraudes était discriminatoire en raison du sexe et de l’âge notamment[1].

Cet article examine les ressources qu’offre le droit de l’Union européenne pour soutenir ce type de contestations. Son point de départ est la décision OQ c/Land Hessen[2] rendue par la Cour de justice de l’Union européenne le 7 décembre 2023 au sujet du score de solvabilité qui avait été attribué par une société allemande à une demande de prêt bancaire. Il s’agit du premier contrôle par la juridiction luxembourgeoise des dispositions figurant à l’article 22[3] du Règlement sur la protection des données (ci-après RGPD). Parmi elles se trouvent le droit reconnu aux individus de « ne pas faire l’objet d’un profilage[4] » et l’encadrement d’une telle technique lorsqu’elle est admise à titre dérogatoire[5]. En s’inscrivant dans la réflexion critique que mène ce volume sur le constitutionnalisme numérique, et en suivant la déconstruction des « subjectivités du droit » à laquelle il invite, l’article propose d’évaluer les garanties qu’offre l’article 22 du RGPD pour contester son score. Les quelques remarques qui suivent visent ainsi à préciser les droits individuels qui peuvent être activés contre une opération de profilage lorsque ceux-ci s’inscrivent dans le droit de la protection des données à caractère personnel. L’article avance que l’interprétation large que donne la Cour à la fois du genre d’opérations soumises aux dispositions de l’article 22 et du droit à « obtenir une explication » confèrent aux personnes concernées par le traitement des outils à la fois très protecteurs de leur contrôle privé (ie : sur leurs données) et partiellement inadéquats pour assurer un contrôle collectif sur les décisions automatisées, y compris le profilage.

Dans l’affaire OQ c/Land Hessen, la requérante OQ s’est vu refuser l’octroi d’un prêt bancaire. La spécificité du litige est d’opposer OQ non à la banque directement, mais à la société allemande Schufa, qui a attribué un score de solvabilité négatif à son dossier, puis l’a transmis à la banque qui est seule responsable de la décision finale. La requérante a demandé à la société de scoring de lui communiquer des informations sur les données à caractère personnel enregistrées et d’effacer celles qu’elle estimait être erronées. Dans sa réponse, la société Schufa a indiqué à la requérante le score attribué à son dossier et a exposé « dans les grandes lignes, les modalités de calcul des scores[6] ». Invoquant le secret des affaires, elle n’a cependant pas transmis les autres données prises en compte dans le calcul ni précisé leur pondération.

Saisi d’une réclamation, le Commissaire à la protection des données et à la liberté de l’information pour le Land de Hesse (Allemagne) a refusé d’enjoindre à la société d’accueillir la demande de la requérante. Celle-ci a contesté le refus du Commissaire devant le tribunal administratif de Wiesbaden, en Allemagne, qui a demandé à la Cour de justice de l’Union si la seule attribution d’un score par une société comme Schufa est soumise aux dispositions de l’article 22 alors qu’il ne s’agit que d’un « acte préparatoire[7] » et non d’une décision à proprement parler. L’enjeu de cette qualification est de taille car, pour que s’applique l’article 22 (l’interdiction générale ou l’autorisation dérogatoire, qui requiert une base légale et entraîne des garanties spécifiques), il faut une « décision automatisée » dont les effets sont « juridiques[8] » ou « similaires[9] » à ceux-ci. La Cour répond positivement à la question : la notion de « décision » est suffisamment large pour englober « le résultat du calcul de la solvabilité d’une personne sous la forme d’une valeur de probabilité[10] ». Il s’agit donc d’une décision, dont le profilage est une « sous-catégorie[11] » qui produit des effets puisque « dans presque tous les cas[12] », un score de solvabilité négatif aboutit au refus par la banque d’accorder un prêt[13].

La distinction entre l’établissement à l’origine du score et la banque permet de soulever des questions essentielles pour comprendre la nature des préjudices induits par les opérations de profilage : d’abord, si l’évaluation seule est une « décision », les droits déclenchés par l’application de l’article 22 – à l’information, l’accès, la compréhension de la « logique sous-jacente » ou encore l’obtention d’une explication – sont-ils susceptibles de donner à la personne concernée un véritable pouvoir de contestation ? Ensuite, faut-il voir dans cette interprétation par la Cour de justice l’avènement d’un droit à ne pas se voir assigner à tort certaines qualités comme s’il en allait de la représentation des personnes concernées, indépendamment des conséquences de cette évaluation (le refus d’octroyer un prêt, dans cette affaire) ? L’avocat général mentionne à ce titre le seul tort que pourrait constituer la « stigmatisation[14] » induite par le score négatif. La Cour ne va pas si loin, mais envisage les droits de la requérante à la lumière de l’obligation pour le responsable du traitement automatisé de « réduire le risque d’erreur au minimum[15] ». Pour répondre à ces questions, l’article présente la contestation du score reconnue par la décision OQ c/Land Hessen (1) puis il souligne ses limites, en raison de la matrice individuelle de l’article 22 du RGPD face à des décisions qui devraient faire l’objet d’un contrôle collectif et en raison de l’illusoire (ou illogique) attente que le droit à la protection des données protège la subjectivité des individus lorsque l’opération de profilage n’est pas, au sens strict, discriminatoire (2).

I. Le droit des individus à contester leur score

A. Le scoring est une « décision » au sens de l’article 22 du RGPD

La contestation du score de solvabilité par la personne qui en a fait l’objet dépend de la qualification de cette opération. Si l’évaluation seule est considérée comme une décision automatisée, alors pourront s’y appliquer les règles strictes de l’article 22 du RGPD, c’est-à-dire l’interdiction de principe (§1) ou l’autorisation à titre dérogatoire assortie de l’obligation pour le responsable du traitement d’offrir des garanties fortes à la personne concernée par le profilage (§2). La Cour est appelée à répondre à cette question précise parce que dans l’affaire OQ c/Land Hessen, l’établissement du score a été délégué à la société Schufa qui n’est pas responsable de la décision finale d’accorder ou non un crédit, mais qui se contente de communiquer un score à la banque. Ainsi, la juridiction doit déterminer si l’évaluation (le scoring) est en elle-même une décision ou seulement un « acte préparatoire[16] » à celle-ci.

Pour le sujet qui exerce ses droits, la réponse apportée par la Cour est déterminante : selon qu’il s’agit ou non d’une décision, il pourra s’opposer à l’opération en elle-même, ou exiger de la société qui en est responsable de prouver qu’elle agit sur le fondement d’une base légale et lui opposer un ensemble de droits (information, accès, rectification, etc[17].). Commençons par reprendre brièvement le raisonnement de la Cour pour arriver à la conclusion selon laquelle l’établissement du score constitue une « décision » au sens de l’article 22 du RGPD. Cela suppose de vérifier que les trois conditions posées par le Règlement sont satisfaites.

Premièrement, la juridiction estime que la notion de décision est suffisamment « large[18] » pour inclure un acte qui a des effets juridiques ou affecte la personne de façon similaire. Elle se fonde sur le Considérant 71 du RGPD qui cite parmi les exemples de décisions automatisées le rejet automatique d’une demande de crédit en ligne ou des pratiques de recrutement sans aucune intervention humaine[19]. L’avocat général apporte un élément supplémentaire à cette définition, en affirmant que le caractère contraignant n’est pas nécessaire pour différencier une décision d’une simple « recommandation[20] ». Il donne toute son épaisseur sociale à la formule du RGPD en avançant que les effets du profilage peuvent être « graves[21] » pour l’indépendance et la liberté des personnes « dans une économie de marché[22] » sans résulter d’une action juridique au sens strict. En s’adressant aux acteurs publics et privés, le RGPD vise précisément à protéger les individus contre des entités dont le pouvoir est dans certains champs comparable aux actes d’autorités publiques.

Deuxièmement, la juridiction considère que la décision est entièrement automatisée et correspond à la définition du profilage fournie par le RGPD, en cela qu’une valeur de probabilité fondée sur les données d’une personne permet de déduire la capacité de celle-ci à honorer un prêt à l’avenir[23].

Troisièmement, c’est le plus notable, la personne est affectée au sens requis par le Règlement, puisque, selon la Cour, « une valeur de probabilité insuffisante entraîne, dans presque tous les cas, le refus de cette dernière d’accorder le prêt sollicité[24] ». C’est ainsi le rôle « déterminant » que joue la valeur établie dans l’octroi du crédit qui justifie de considérer comme une décision le seul établissement du score[25]. Le profilage est une étape de la prise de décision automatisée, mais qui constitue en elle-même une décision susceptible d’être contestée[26]. Par conséquent, la société Schufa doit être soumise au régime strict de l’article 22 du RGPD, ce qui aura des conséquences importantes sur le fonctionnement des agences de crédit. Elles seront semble-t-il contraintes à l’avenir de communiquer les critères et les méthodes utilisés pour établir leur score[27]. Cela aura également une incidence sur d’autres pratiques, comme la publicité ciblée et la sélection de candidats à un emploi par un procédé algorithmique[28].

Peut-on en déduire que la Cour prend pleinement acte des risques induits par le profilage ? La distinction entre deux stades (l’évaluation d’abord, puis le refus d’accorder un crédit[29]) dans les conclusions de l’avocat général fait clairement apparaître le tort que subit un individu lorsqu’il fait l’objet d’un score négatif, indépendamment de la décision finale. Le candidat au prêt est « limité dans l’exercice de ses libertés[30] », quand bien même il ne se heurte pas à une décision contraignante. Il est affecté par le risque de stigmatisation que comporte la seule évaluation. Pour étayer cet argument, l’avocat général fait référence aux lignes directrices du groupe de travail « Article 29 » sur la protection des données qui avait relevé le risque que le profilage perpétue des « stéréotypes existants[31] » et la « ségrégation sociale[32] ». L’enfermement des personnes dans une catégorie spécifique peut porter atteinte à leur « liberté de choix » avait aussi souligné le groupe de travail, en ajoutant que dans certains cas, les prévisions sont « inexactes » et qu’elles peuvent dans d’autres cas être « discriminatoires[33] ».

Ce qui demeure incertain, dans ces conclusions et plus encore de la décision de la Cour, est la possibilité d’en déduire qu’un tel profilage porterait atteinte aux droits quand bien même la communication du score n’aboutirait pas « dans presque tous les cas » au refus de la banque. C’est bien parce que le scoring « prédétermine » la décision de la banque que différents stades de la procédure – dont l’évaluation seule – sont qualifiés de décision[34]. Et cette qualification, une fois établie, déclenche l’exercice des droits prévus par l’article 22 du RGPD qui visent, selon l’interprétation retenue, à protéger les individus contre le profilage (le score négatif) ou seulement contre ses effets (le refus du crédit). Il n’est pas évident que cet ensemble de droits, prévus par le Règlement, permette de restaurer le tort induit par le profilage lorsque l’on comprend celui-ci comme le rattachement indu d’une personne à une catégorie sans conséquences (quasi) automatiques sur l’octroi du prêt.

B. De quelles informations doit disposer celui qui veut contester son score ?

La nécessité de considérer l’acte préparatoire comme une « décision » résulte de l’exigence pour les individus d’opposer leurs droits au responsable du traitement, c’est-à-dire à la société chargée d’établir le score. Dans le cas inverse, précise la Cour, il serait impossible pour la requérante d’accéder aux données qui la concernent et de comprendre la « logique sous-jacente[35] » au traitement automatisé. En effet, si aucune décision n’est imputable à la société Schufa, les personnes concernées ne pourraient s’adresser qu’à la banque, alors que cette dernière ne dispose pas des informations demandées[36]. La Cour ajoute que, dans cette même hypothèse, les responsables du scoring ne seraient pas non plus tenus de respecter les obligations établies par le Règlement une fois que l’opération a bien été qualifiée de profilage.

Une fois cette solution adoptée, la requérante peut exiger que l’opération se fonde sur une base légale et si c’est le cas, exercer les droits prévus par le RGPD pour contester le score lui-même. Il s’agit à la fois des droits spécifiques déclenchés par une décision automatisée (obtenir une intervention humaine de la part du responsable du traitement, exprimer son point de vue et contester la décision) et de droits qui concernent le traitement des données en général, mais qui sont renforcés lorsqu’il s’agit d’une décision automatisée (être informé de l’existence d’un profilage, obtenir des informations sur sa « logique sous-jacente» et sur ses conséquences pour la personne concernée, accéder à ces informations après le traitement[37]). Par ailleurs, la Cour fait référence au droit, prévu par le seul Considérant 71 du RGPD, d’« obtenir une explication quant à la décision prise à l’issue de ce type d’évaluation et de contester la décision[38] ».

La réponse de la Cour dans cet arrêt pourrait répondre partiellement aux inquiétudes exprimées par la doctrine sur les décisions automatisées, très sceptique à l’égard de l’existence d’un droit à obtenir une explication à l’issue de la décision[39]. Selon plusieurs analyses de l’article 22, le droit à obtenir des informations, qui figure à divers endroits dans le corps du Règlement, donne uniquement accès à la logique générale du profilage. Les responsables du traitement ne sont toutefois pas tenus de divulguer l’algorithme qu’ils utilisent, mais seulement de communiquer les critères et les raisons à l’origine de la décision[40]. De plus, rien dans le Règlement n’assure que la personne concernée aura accès à des explications à l’issue de l’évaluation (ex post[41]) sur la façon dont les critères lui ont été appliqués. Autrement dit, selon cette analyse, il pourrait bien manquer ce qui importe le plus à celui qui vient d’être refusé à l’université ou visé par un contrôle fiscal : contester une décision après l’application d’un ensemble de facteurs à son cas particulier en comprenant quelles assignations précises (à une classe sociale ou à un niveau d’étude) ont présidé à la décision. Ces « facteurs d’individualisation[42] » paraissent pourtant essentiels pour exprimer son point de vue sur le profil établi.

Le litige à l’origine de l’affaire étudiée fait clairement apparaître la différence entre ces deux types d’explication, selon qu’elle peut être demandée avant ou après l’évaluation. La société Schufa a accepté de communiquer à la requérante le score qui lui a été attribué et les modalités de calcul dans ses grandes lignes. Il s’agit de la « logique sous-jacente » à la décision qui aurait pu lui être communiquée avant que le profilage ne s’applique à son cas particulier. En revanche, la société a refusé de transmettre les autres informations utilisées pour calculer son score ainsi que leur pondération. La nature des informations, limitées par un tel refus, est jugée insuffisante par la Cour, ce qui pourrait signaler qu’il existe selon elle une obligation légale pour le responsable du traitement de communiquer certaines informations après la décision. Cette conception exigeante des informations auxquels donne « accès » le droit du RGPD a d’ailleurs été confirmée dans une décision plus récente de la Cour de justice de l’Union[43].

Sur la teneur exacte des explications que la société est tenue de fournir, cependant, l’avocat général est plus explicite que la Cour : il considère que l’agence de crédit doit communiquer à la requérante « des informations globales, notamment sur les facteurs pris en considération pour le processus décisionnel et sur leur importance respective à un niveau agrégé », car celles-ci seront utiles pour contester la « décision[44] ». En revanche, divulguer l’algorithme serait peu utile, selon l’avocat général, étant donné sa grande complexité[45]. Plusieurs incertitudes persistent néanmoins : dans quelle mesure ces méthodes sont compréhensibles pour celui ou celle auquel elles s’appliquent et à quel degré sont-elles communicables ? Il est fort probable, nous y reviendrons dans la suite de cet article, que les facteurs à l’origine de l’évaluation ne soient pas fixés à l’avance et ne puissent donc pas être communiqués. Il y a une raison plus fondamentale de douter du pouvoir de contestation conféré par le Règlement : l’ouverture des boîtes noires se fait dans un langage qui n’est pas linéaire et prétend rendre transparentes des méthodes qui sont évolutives et dont il est alors difficile de vérifier l’application impartiale[46]. Une autre interrogation concerne la nature des droits reconnus aux personnes qui font l’objet d’un profilage. Au cœur du raisonnement de la Cour se trouve l’obligation pour les entités responsables d’un profilage de « réduire le risque d’erreur au minimum[47] » et d’utiliser des « procédures statistiques et mathématiques adéquates[48] ». A quel droit correspond cette exigence ? Et quels moyens sont mis à la disposition des individus pour le faire valoir ? S’agit-il de corriger les erreurs qui concernent les données sur lesquelles repose le processus d’évaluation (données entrantes) ou de contrôler l’adéquation du processus lui-même ? Doit-on en conclure qu’il existe un droit à rectifier les « données sortantes[49] » ? Et les individus peuvent-ils opposer comme un droit leur volonté de se reconnaître dans les choix qui sont faits à leur sujet ?

Comme nous l’avons souligné, la protection des droits fondamentaux n’est pas accessoire dans l’interprétation retenue par la Cour de considérer l’évaluation elle-même comme une décision. L’avocat général donne sur ce point des informations plus complètes : « Tenir la société d’information commerciale responsable en raison de l’établissement du score – et non pas au motif de son utilisation ultérieure – me paraît être la manière la plus efficace d’assurer une protection des droits fondamentaux de la personne concernée[50] », à savoir du droit à la protection des données à caractère personnel et le droit à la vie privée.

Le plus souvent invoqués ensemble devant les tribunaux, les deux droits renvoient à des préoccupations qui ne se recoupent pas toujours. Plus précisément, le traitement statistique des données soulève des enjeux qui n’appartiennent pas au cœur de ce que veut protéger le droit à la vie privée[51]. La distinction apparaît clairement dans le cas du profilage, puisque les torts induits dans l’affaire étudiée n’équivalent pas aux deux menaces pour la vie privée telles qu’elles sont traditionnellement identifiées : une intrusion de l’État ou de tiers dans le domaine privé et la divulgation d’informations confidentielles qui exposerait l’intimité des individus contre leur gré[52]. En effet, dans OQ c/Land Hessen, ce n’est pas la divulgation d’informations confidentielles sur la requérante qui est en cause, mais l’analyse qui en est faite pour évaluer sa solvabilité ainsi que l’opacité de cette opération. L’affaire est déclenchée par la restriction du droit d’accès de la requérante par la société, et non par la collecte ou la divulgation d’informations confidentielles à son sujet. Dans une affaire plus récente, la Cour a jugé que la divulgation de données sensibles (l’orientation sexuelle) par la personne concernée ne suspendait pas les règles de traitement imposées aux données personnelles ordinaires par le RGPD, et plus précisément la publicité ciblée[53].

Le droit à contester le profilage est donc interprété comme le contrôle exercé sur le traitement de données non confidentielles concernant celui qui fait l’objet d’une évaluation. Mais, quand bien même il pourrait intervenir après l’évaluation, concerner les méthodes spécifiques appliquées à la personne concernée et être exercé indépendamment des conséquences tangibles (notamment économiques) de la décision, tient-il les promesses de l’autonomie informationnelle s’il prend la forme du droit de celui seul qui est concerné par le traitement ? Nous proposons dans la suite de cet article de réfléchir aux limites que constitue le droit individuel à contester une opération de profilage comme l’établissement d’un score de solvabilité, en montrant qu’il est contraint par la forme personnelle que prend ce droit dans le contexte et le langage juridique de la protection des données.

II. Les limites d’une contestation par l’exercice de droits individuels

L’article avance que la forme du droit à « ne pas faire l’objet » d’un profilage et son ancrage dans le droit à la protection de données personnelles et le droit à la vie privée le rend partiellement inadéquat pour contester des méthodes d’évaluation et de prédiction dont le défaut n’est pas, ou pas seulement, de mal classer les personnes ou d’utiliser des données inexactes pour traiter leurs demandes. La réflexion engagée par l’avocat général sur le terrain de la stigmatisation que peut induire le score négatif[54] est elle-même individualiste puisqu’elle porte sur les effets du traitement des données sur la personne concernée. Or cette perspective individualiste est insuffisante pour identifier le préjudice en jeu. Ce constat nous conduit, dans la seconde partie de l’article, à envisager le droit à contester le profilage dans un cadre qui devrait excéder le seul exercice d’un droit individuel, parce que l’autonomie des individus à se définir librement suppose un environnement social qui ne soit pas saturé de représentations fondées sur le traitement automatisé des données personnelles ou fondé sur des pratiques discriminatoires.

A. La matrice individuelle du droit à obtenir une explication

La limite à laquelle se heurte le droit à obtenir une explication, tel qu’il est partiellement reconnu dans l’arrêt OQ c/Land Hessen, tient aux conditions de l’autonomie dite informationnelle. Nous faisons l’hypothèse que le profilage peut porter atteinte aux deux facettes – privée et publique – de cette autonomie dont nous développons les caractéristiques plus bas[55], mais que le Règlement protège essentiellement la première.

L’autonomie informationnelle privée permet aux individus de se constituer une personnalité propre. Ils doivent disposer pour cela d’un espace à eux où expérimenter et mettre à l’épreuve leurs idées et leurs actions sans être exposés publiquement[56]. Elle a pour traduction juridique la maîtrise par les individus de la divulgation et de l’usage des informations qui les concernent. Les effets inhibants de la surveillance publique sur la formation des opinions personnelles sont connus de la Cour de justice de l’Union européenne et protégés sur le fondement des articles 7 et 8 de la Charte des droits fondamentaux de l’Union[57]. Le profilage, cependant, n’est pas mis en cause parce qu’il est responsable de la divulgation d’informations confidentielles, mais parce qu’il est un « traitement » au sens du RGPD qui déclenche l’exercice de plusieurs droits dont la finalité est le contrôle de l’individu sur l’usage des données qui le concernent. Disons à ce stade qu’il est possible de comprendre l’exigence à ne pas être assigné à tort à une catégorie comme une exigence voisine de celle requise pour l’exercice de l’autonomie informationnelle privée, à savoir celle qui commande de disposer d’un espace où la formation de l’identité n’est pas prédéterminée voire préemptée par les pouvoirs publics ou privés. C’est sans doute une préoccupation de cette nature qui a conduit le groupe de travail « Article 29 » à souligner au sujet du profilage le risque pour les individus d’être « enfermés[58] » dans une catégorie spécifique par le ciblage publicitaire, et ce indépendamment des effets discriminatoires que peut par ailleurs induire la classification.

Les lignes directrices qui accompagnent le RGPD font également référence aux goûts artistiques ou aux choix de consommation que restreint et fige inévitablement le profilage en ligne, mais cette inquiétude concerne plus généralement la sensibilité et les opinions que forment les citoyens. C’est peut-être ainsi que l’on peut lire, dans les conclusions de l’avocat général, la crainte d’une « stigmatisation » que peut induire le seul score négatif, indépendamment de ses effets. Il n’est pas indifférent d’être classé « mauvais emprunteur » quand bien même ce classement n’est pas suivi d’un refus de crédit par la banque, et les raisons de ne pas vouloir faire l’objet d’une erreur au seul stade de l’évaluation peuvent être liées à celles qui conduisent les individus à vouloir se construire à l’abri des jugements émanant de la sphère publique. A cet égard, les droits déclenchés par l’application de l’article 22 devraient corriger les préjudices relatifs à l’autonomie informationnelle privée par l’information, l’accès, la rectification des données et éventuellement la contestation du profilage par les individus qui en ont fait l’objet.

La deuxième composante, que l’on peut appeler publique de l’autonomie informationnelle suppose cette fois que les individus comprennent et contestent collectivement des décisions qui sont à l’origine de la distribution sociale des biens matériels et symboliques[59]. Ceux-ci incluent par exemple l’accès à certains services comme le prêt bancaire dans l’affaire qui nous occupe. Pourtant, la matrice individuelle du droit à obtenir une explication ne permet pas une telle contestation, parce qu’elle n’inscrit pas la décision particulière dans la logique plus globale qui sous-tend la répartition institutionnelle des biens et la reconnaissance sociale des mérites selon des critères intelligibles. On pourrait rétorquer que la décision individuelle d’une agence de crédit émane d’un acteur privé qui n’est pas tenu aux mêmes obligations de justification envers celui auquel s’applique son traitement qu’une administration ou un tribunal. Mais l’esprit du RGPD – appuyé par l’avocat général – est précisément de reconnaître la gravité des atteintes causées par l’automatisation de décisions privées. Il n’y a pas de raisons de soustraire à l’exigence de transparence des opérations au seul motif qu’elles ne sont pas le fait d’acteurs publics.

Les exigences apparaissent il est vrai plus clairement lorsque les décisions émanent des administrations, parce que celles-ci font l’objet d’un contrôle plus rigoureux. Ainsi, le droit français prévoit que les décisions administratives entièrement automatisées doivent pouvoir être contestées. Depuis la loi Lemaire de 2016, les administrations responsables de telles décisions sont tenues de communiquer à celui qui en fait la demande les règles qui définissent le traitement algorithmique et les « principales caractéristiques de sa mise en œuvre[60] ». Le sens de cette disposition a été au cœur de discussions au sujet de la plateforme qui affecte les lycéens dans les universités. A cet égard, la protection des données comme expression de l’autonomie informationnelle privée (le contrôle strict d’un individu sur les informations qui le concernent, le choix de leur divulgation ou de leur dissimulation) peut même entrer en conflit avec l’exigence de transparence requise pour contester le principe d’une décision publique.

Cette tension se fait jour dans le litige qui a opposé le syndicat étudiant français UNEF et l’Université des Antilles, lorsque l’établissement a refusé de communiquer au syndicat les procédés algorithmiques utilisés pour l’examen des candidatures, en invoquant le secret des délibérations et l’indépendance du jury. En vertu de la loi française, les étudiants ont accès aux informations relatives « aux critères et modalités d’examen de leurs candidatures[61] » ainsi qu’aux motifs pédagogiques justifiant la décision prise à leur égard[62] (hiérarchisation et pondération des différents critères par les établissements) mais cette communication ne bénéficie qu’aux candidats, pas aux syndicats. Une telle exclusion révèle les limites du droit individuel des candidats à obtenir des explications sur leur candidature : comment le syndicat pourrait-il contester la logique d’ensemble de l’évaluation sans avoir accès aux explications relatives à plusieurs candidatures ? Le Conseil constitutionnel a considéré que la protection de l’accès aux documents administratifs supposait que les établissements publient les critères généraux utilisés pour l’examen des candidatures[63], mais il ne s’agit pas d’une explication sur la manière dont ces critères sont ensuite appliqués à des dossiers particuliers. Il y a donc un décalage entre la matrice individuelle du droit conçu dans le sillage du droit à l’autonomie informationnelle privée (contrôler ses données) et l’enjeu plus large de l’accès aux décisions publiques et de leur possible remise en cause collective.

Il reste à préciser en quoi le RGPD (et le droit des données personnelles en général) protège en priorité l’autonomie informationnelle privée. L’affirmation par l’avocat général (et plus indirectement par la Cour) selon laquelle les responsables du profilage doivent répondre aux demandes d’informations et d’accès des personnes qui en ont fait l’objet résulte du contrôle dont doivent disposer les individus sur l’utilisation des données qui les concernent. Nous l’avons dit, la teneur des explications garanties par l’article 22 du RGPD tel qu’il est interprété par la Cour dans l’arrêt n’est pas clairement identifiée : il peut s’agir, une fois le profilage réputé légal, d’un accès aux critères généraux du traitement, aux informations sur les facteurs utilisés et à leur pondération dans un cas particulier et/ou de l’exigence d’un réexamen de la décision par une personne humaine. Ce que nous soulignons à présent, c’est que même si elles étaient conçues de façon maximale, ces explications n’offriraient qu’une autonomie partielle, qui se résume au droit pour la personne de comprendre le traitement des informations qui la concernent et, éventuellement, de corriger son inscription erronée dans l’une ou l’autre catégorie. Pourtant, afin que le contrôle sur l’usage statistique que font les pouvoirs publics et privés des données personnelles soit réel, il faudrait ajouter que son exercice requiert que les opérations de profilage puissent être comprises et contestées en tant que principes d’organisation sociale, et non comme de simples décisions ponctuelles.

Bien sûr, la matrice individuelle n’est pas incompatible avec la contestation par les citoyens des décisions privées et publiques dans une démocratie. Il est très bien admis que la protection de la liberté d’expression individuelle contribue à la vitalité du débat public qui peut contraindre les autorités à justifier leurs choix. Il n’est pas impossible, cependant, que la focalisation sur la dimension privée du contrôle des individus sur leurs données puisse reléguer au second plan l’accès aux informations. Ce fut le cœur d’une critique adressée à l’égard de la décision Google Spain[64] rendue par la Cour de justice de l’Union européenne, saluée parce qu’elle reconnaît le statut « fondamental » du droit à la protection des données personnelles, mais au prix d’une minoration de la liberté d’accéder aux informations utiles au public[65]. Cette critique correspond au scepticisme de bon nombre de théoriciens de la vie privée informationnelle à l’égard d’une compréhension individualiste de celle-ci, incapable de répondre aux enjeux liés à l’utilisation des données massives[66].

Il faut cependant nuancer la tension qui existe entre les deux composantes de l’autonomie informationnelle, parce que la séparation que nous avons esquissée jusqu’ici est schématique : les penseurs de la démocratie ont depuis longtemps souligné l’interdépendance qui existe entre l’autonomie privée et l’autonomie publique et leur relation dialectique[67]. Les citoyens doivent disposer d’un espace privé où former leurs opinions, et ils concourent à la formation des lois qui protègent à leur tour cet espace contre diverses intrusions ou influences. En outre, la participation politique et le contrôle démocratique des décisions requiert l’existence d’un espace public qui ne soit pas monolithique. Dans le cas du profilage, cette relation d’interdépendance prend une forme particulière : contester les décisions des plateformes utilisées par les administrations ou l’établissement de scores par des agences de crédit suppose que les individus puissent se forger une opinion et adopter des conduites qui ne sont pas celles que ces pouvoirs ont érigées en normes. Par conséquent, la contestation du profilage dans sa dimension publique requiert l’existence d’un environnement particulier. Celui-ci suppose que les individus ne se voient pas assigner un profil dans lequel ils ne se reconnaissent pas. Si c’est le cas, ils ne disposent pas de l’espace requis pour construire librement leur identité.

Cette double dimension apparaît d’ailleurs dans la décision rendue par la Cour constitutionnelle allemande en 1983 à l’origine de la notion d’autodétermination informationnelle, qui a largement inspiré le droit de l’Union en la matière[68] et porte précisément sur le profilage. En contrôlant la loi qui établissait le recensement de la population, la Cour fédérale allemande a reconnu le « droit de l’individu de décider lui-même de la divulgation et de l’utilisation de ses données personnelles[69] ». Il ne s’agit pas d’interdire la divulgation d’informations, mais d’encadrer la collecte et surtout l’usage des données par les administrations. Sur le fondement des articles de la Loi Fondamentale relatifs à la dignité (article 1) et à la personnalité (article 2), la Cour a pour cible le « conformisme ». Selon la juridiction de Karlsruhe, les capacités de stockage et d’interconnexion conduisent les citoyens, ignorant ce que l’on sait sur eux et qui le sait, à se conformer aux autres. Par conséquent, le droit à l’autodétermination informationnelle doit à la fois offrir aux citoyens un contrôle sur les données qui les concernent individuellement (la légalité de la collecte repose principalement sur le consentement) et les protéger collectivement du conformisme, et plus précisément de ses effets délétères sur l’autonomie démocratique.

Les liens entre profilage individuel et débat public apparaissent d’ailleurs clairement dans les affaires de modération de publications en ligne. Un homme politique belge d’extrême-droite s’est récemment fondé sur l’article 22 du RGPD – et non sur les règles relatives à la modération par les plateformes dans le Digital Services Act – pour contester l’invisibilisation de son compte Facebook par Meta[70]. Il estimait que cette action résultait du profil politique établi automatiquement par le réseau social à partir de ses publications antérieures. Il se dessine alors un lien entre l’automatisation de décisions individuelles par l’algorithme de filtrage du réseau social et l’encadrement par le droit des actions qui ont des effets sur le pluralisme dans l’espace public[71]. Les arguments du requérant sont peu solides, parce que ses publications constituent des indices crédibles de ses prises de position. L’affaire témoigne néanmoins du fait que la contestation individuelle du profilage soulève naturellement un problème démocratique.

Contester un profil peut ainsi impliquer pour une personne de refuser la catégorie à laquelle elle est affectée (en contrôlant les données initiales, le processus ou les données sortantes) parce qu’elle veut se définir librement ou se reconnaître dans les assignations sur lesquelles se fondent les décisions qui sont prises à son égard. Il est difficile de séparer nettement les deux composantes de l’autonomie informationnelle dont relève la contestation du profilage. En revanche, ce sera notre deuxième point, l’inscription de cette contestation dans le droit des données personnelles, et donc l’importance reconnue par la Cour de justice à la dimension « privée » de l’autonomie, appelle une identification plus précise de ce droit à contester son profil lorsqu’il n’est pas discriminatoire au sens strict.

B. L’impossible droit à ne pas être « mal profilé »

L’interprétation que fait la Cour de justice du droit à ne « pas faire l’objet d’un profilage » dans l’affaire OQ c/Land Hessen met l’accent sur l’exercice de ce droit au seul stade de l’évaluation et rappelle l’obligation pour le responsable du traitement de réduire le risque d’erreur au minimum. Les personnes disposent en vertu du texte du droit général de rectifier les données qui ont été recueillies. Mais dans le cadre spécifique du profilage, de quelle erreur s’agit-il ? Concerne-t-elle seulement les données initiales ou le processus en lui-même et les données sortantes ? Dans ce dernier cas, faut-il y voir la reconnaissance d’un droit de ne pas être profilé de façon inadéquate ?

L’hypothèse la plus évidente est que le droit veut protéger les personnes contre les effets discriminatoires du profilage. Cette protection est au cœur du Règlement et apparaît notamment dans les dispositions qui posent l’interdiction d’utiliser des données sensibles[72]. Le risque que la prédiction d’un comportement individuel repose sur l’usage d’un motif proscrit (l’origine raciale ou ethnique, l’orientation sexuelle ou encore les opinion politiques, etc.) appelle des protections juridiques renforcées selon les Lignes directrices. Cela s’explique par les pratiques bien documentées, notamment dans le monde judiciaire aux Etats-Unis, où les scores utilisés par certaines juridictions pour évaluer le risque de récidive des prévenus reposent directement ou indirectement sur des facteurs de cette nature[73].

Dans la décision de la Cour, les « effets discriminatoires » figurent parmi les risques principaux d’atteinte aux droits à l’origine des garanties supplémentaires offertes aux personnes en cas de profilage[74]. L’interdiction de principe posée par l’article 22, §1 du RGPD est interprétée par l’avocat général comme une manière de réduire le risque de discrimination que présente le recours à des décisions automatisées en général[75]. Mais, une fois le profilage réputé légal, comment sont évalués les risques de discrimination ? La référence aux « effets » laisse ouverte la question de savoir si l’évaluation seule d’un dossier de demande de crédit, quand elle utilise des critères qui figurent parmi les motifs proscrits, constitue une discrimination sur le fondement de ces motifs mais indépendamment des conséquences dans un domaine soumis à la législation européenne en droit de la non-discrimination (l’accès au travail ou aux services par exemple). Il semble bien que ce soit pour protéger les personnes contre les risques d’un traitement discriminatoire – et pas uniquement contre ses effets pour l’accès effectif de cette personne aux crédits, en l’occurrence – que la Cour décide de considérer l’établissement du score comme une décision au sens de l’article 22. Ainsi, les « effets discriminatoires » paraissent résulter de la seule opération par laquelle un individu est assigné à une catégorie, si cette catégorie réunit des personnes sur la base d’un critère dont l’usage est proscrit par le droit.

Il faut ajouter que le traitement statistique à l’origine du profilage peut donner lieu à une discrimination qui ne résulte pas directement de l’usage d’un motif proscrit par la législation, mais d’un substitut (proxy) qui renvoie indirectement à ce motif. Pour décrire ce phénomène, la littérature parle parfois de discrimination statistique ou de discrimination algorithmique. Il s’agit du désavantage que peuvent subir les individus en raison de leur appartenance à un groupe dont une caractéristique visible (le code postal par exemple) est statistiquement corrélée à une caractéristique plus difficile à mesurer (les comportements financiers à risque, par exemple[76]).

Le profilage présente un risque accru en la matière[77]. Premièrement, les critères utilisés pour évaluer une personne peuvent être autorisés, mais statistiquement corrélés à un motif prohibé. L’usage du code postal pour évaluer la solvabilité d’un candidat à l’emprunt n’est pas interdit en vertu du droit de la non-discrimination ; en revanche, tel ou tel code postal peut servir de « proxy[78] » pour viser les individus selon leur origine ethnique, ce qui est interdit. Ces discriminations « indirectes », quand elles sont manifestes (utiliser le temps partiel pour viser les femmes, par exemple) sont bien prises en compte par le droit de la non-discrimination. En revanche, celui-ci n’est généralement pas bien armé pour combattre les traitements différenciés dans lesquels le lien entre le facteur utilisé (le code postal) et le motif proscrit (l’origine ethnique) est plus distendu, et où ce facteur apparemment neutre se révèle pertinent en toute objectivité, pense-t-on, du fait de la puissance de calcul des algorithmes sur un jeu important de données. Quelques juridictions ont abordé ce problème, mais à titre exploratoire[79]. Deuxièmement, la corrélation établie par un algorithme entre un comportement financier à risque et un code postal se base sur des données qui reflètent des discriminations passées, notamment en raison de la concentration des contrôles dans certaines zones géographiques du fait de stéréotypes sur leurs habitants[80]. Dans ce cas, le critère n’est pas dans la liste des motifs prohibés, ne sert pas de proxy pour viser un groupe protégé. En revanche, la récurrence de la corrélation entre deux caractéristiques porte la trace d’un traitement défavorable dans le passé. La discrimination peut enfin tenir à l’insuffisance des données pour certaines parties de la population, qui rend les outils insensibles à la singularité des personnes qui la composent lorsqu’elles font l’objet de profilages. Les biais racistes induits par les techniques de reconnaissance faciale, en raison d’une population blanche surreprésentée dans les échantillons sur lesquels s’entraînent les outils, sont désormais très bien documentés[81]. Dans toutes ces variantes de la discrimination statistique ou « proxy discrimination », le tort provient donc d’un lien plus ou moins étroit – et que l’automatisation du traitement rend plus difficile à prouver – entre les facteurs à l’origine d’un traitement désavantageux et les motifs protégés par le droit. Le traitement automatisé, en croisant un grand nombre de données, dissout le lien pertinent pour établir la discrimination.

Dans l’affaire OQ c/Land Hessen, l’établissement du score ne s’est vraisemblablement fondé sur aucun motif proscrit par le droit européen de la non-discrimination ou sur les dispositions relatives aux décisions automatisées. Pourtant, les responsables du score de solvabilité doivent « réduire le risque d’erreur au minimum ». Faut-il en conclure, et c’est la deuxième hypothèse, que se dessine un droit à ne pas faire l’objet d’un classement erroné, indépendamment de l’usage d’un motif proscrit par le droit ? Si aucune donnée sensible n’a été utilisée, que doit pouvoir faire valoir la requérante exactement ? Le contenu de l’explication à fournir reste assez ouvert dans la décision de la Cour. La référence à l’erreur pourrait cependant laisser penser que les personnes qui ont fait l’objet d’un profilage ont le droit à ne pas être classées à tort dans l’une ou l’autre catégorie, car cette assignation les enferme ou entérine des « stéréotypes » selon l’avocat général. Dans la même veine, la Cour de justice a plus récemment admis que les personnes concernées par une décision automatisée devaient être en mesure de comparer le résultat auquel a abouti la société de scoring (la score de solvabilité établi à leur sujet) et celui, qualifié de « réel » auquel ces mêmes personnes arriveraient sur la base des informations fournies par l’entreprise[82].

Cette seconde hypothèse est toutefois difficile à tenir en raison du scepticisme qui entoure l’existence d’un tel droit dans la littérature. L’idée selon laquelle les personnes ont un droit à être traitées « comme des individus » a été envisagée en théorie[83]. Cette formulation soulève de redoutables difficultés, car toute procédure d’allocation suppose l’existence de classes de référence et qu’il est impossible de s’assurer qu’une décision se fonde exclusivement sur les qualités propres d’un individu, sans viser l’« utilité sociale[84] ». Le scandale récent suscité par les algorithmes utilisés par la Caisses des allocations familiales en France, qui concentre ses contrôles anti-fraude sur certaines catégories de personnes, a récemment mis cette question sur le devant de la scène. Mais c’est surtout parce que les critères utilisés visaient les plus précaires que le logiciel a été critiqué, non parce qu’il traitait les dossiers individuels par l’intermédiaire de classes de référence.

Il est à vrai dire difficile de défendre l’existence d’un droit subjectif, qui serait celui des individus à ne pas être traités seulement en fonction des caractéristiques moyennes de leur groupe – indépendamment des stéréotypes qui existent sur ce groupe et qui justifient de ne pas faire de l’appartenance au groupe le motif d’un traitement différencié. Cela supposerait l’existence d’un droit à ne pas être réduit à ce standard, un droit à la singularité. Donner du crédit à une telle revendication demanderait également d’expliquer pourquoi l’établissement du profilage paraît contraire aux droits, alors que la loi elle-même procède de la formulation d’une règle générale qui est toujours trop large pour prévoir l’ensemble des cas particuliers[85]. L’enjeu est de pouvoir rendre raison d’une décision, et non de s’assurer de sa pure adéquation à l’individualité de ceux à qui elle s’applique.

Pourtant, la façon dont le droit à contester le profilage s’inscrit dans le droit des personnes à contrôler leurs données donne parfois l’impression que ce qui importe est d’éviter ces classifications erronées dans la logique de l’autonomie informationnelle privée. Certains commentateurs du droit de la protection des données ont à ce sujet parlé d’un droit individuel à des « inférences raisonnables[86] ». La contestation du ciblage publicitaire pourrait répondre à cette exigence : le droit des individus à ne pas être assignés à l’identité que leur impute à tort un profil à des fins commerciales[87]. Ainsi, l’usage inductif issu du croisement de données personnelles avec un volume important d’autres données devrait lui-même faire l’objet d’un contrôle. Mais, au regard de la distinction établie dans la partie précédente, et de l’affaire « Parcoursup » en particulier, il est difficile d’opérer ce contrôle sans disposer d’informations sur les autres processus par lesquels les critères ont été individualisés. Autrement dit, le droit d’un individu à ne pas faire l’objet d’un rattachement erroné à une classe de référence peut difficilement aboutir à un contrôle véritable sur les ressorts des décisions collectives.

Il y a encore une raison de douter de la pertinence d’un tel droit subjectif, qui tient à l’opération du profilage en elle-même. Dans la décision de la Cour, elle est définie par des « procédures mathématiques et statistiques » fondées sur l’hypothèse que l’assignation d’une personne à un groupe d’autres personnes « possédant des caractéristiques comparables et qui se sont comportées d’une manière donnée[88] » permet de « prédire un comportement similaire[89] ». Ce qui est au cœur de l’opération – et donc de sa possible contestation – est l’assignation d’une personne à un groupe sur le fondement de similitudes. Cela suppose l’existence de classes réunissant des individus selon les caractéristiques qu’ils partagent (le niveau d’étude, ou le solde de leurs comptes en banque par exemple). Or aux yeux de plusieurs spécialistes du profilage, les techniques actuelles ne reposent plus sur l’établissement de ces catégories. Pour Bernard Harcourt, par exemple, la logique du profilage n’est plus la logique « actuarielle » du XX^e siècle qui résultait de l’établissement de classes (selon la conduite morale, par exemple ou la situation financière) puis de l’inscription des individus à ces catégories et de l’attribution du score de risque qui leur est corrélé. Le volume de données permet aujourd’hui de fonder les prédictions sur des analyses plus fines, qui reposent sur le « matching[90] », c’est-à-dire l’identification d’un individu à un autre individu, qui agit comme un « double » parce qu’il partage avec lui un nombre important de caractéristiques et donne à son sujet des informations encore plus fiables. Antoinette Rouvroy le formule un peu différemment en considérant que les « modèles » dynamiques ont remplacé les catégories figées (« bon étudiant », « bon emprunteur »), si bien que la crainte ne peut consister pour les personnes à ne pas se reconnaître dans le profil qui est élaboré : celui-ci est sans cesse réévalué et refaçonné, et les données utilisées pour le faire agissent en permanence sur le choix des corrélations pertinentes[91].

Le profilage repose ainsi sur des procédés qui se présentent comme étant de plus en plus personnalisés, granulaires, et donc moins susceptibles de comporter les erreurs qui résultent de l’inscription indue d’un cas particulier dans une catégorie générale. Cette personnalisation est rendue possible par la prolifération des catégories et de leurs intersections. La plasticité et la finesse des profilages est bien sûr d’abord un argument qui permet d’en légitimer l’usage[92], et ces opérations ne sont pas toujours à la hauteur de la qualité dont elles se prévalent. En revanche, elles pourraient bien montrer une dernière limite à laquelle se heurte le droit à obtenir des explications tel qu’il est esquissé dans le droit individualiste à maîtriser les données traitées.

La fiabilité du profilage, tel qu’il vient d’être redéfini, tient au caractère évolutif des critères utilisés[93]. Dans le cas du score de solvabilité, cela signifie que les facteurs pertinents pour mesurer un risque ne sont pas déterminés avant le traitement des données d’une candidate au crédit, mais à mesure que ses données sont croisées avec celles issues de plusieurs autres dossiers. Il ne s’agit plus alors pour les individus qui contestent leur profil de résister à la subsomption sous une catégorie sociale trop large, pour la bonne raison que cette catégorie n’a pas d’existence indépendante des données recueillies. En outre, l’explication qui pourrait être fournie à une personne sur le procédé à l’origine d’une décision qui la concerne ne serait d’aucune utilité pour en comprendre la logique, qui dépend des résultats du traitement d’un volume de données beaucoup plus large.

Que reste-t-il de la revendication à ne pas être profilé par erreur, au seul stade de l’évaluation et non de la décision ? Sans doute s’agit-il de la revendication des individus à affirmer leur identité face à des représentations trompeuses. Elle peut avoir trait à leur exigence de se raconter plutôt que de s’en remettre aux qualités qui leur sont déjà assignées[94]. Cette exigence n’est pas sans lien avec le contrôle informationnel, puisqu’elle concerne la possibilité pour les individus de dire ce qu’ils sont avant qu’on ne leur impute des préférences ou des comportements. Mais s’agit-il pour cela d’un droit véritable ? Ne serait-il pas contradictoire d’attendre du droit qu’il satisfasse la quête d’exprimer une telle subjectivité ? Et ne se retrouve-t-on pas à espérer du droit qu’il contente un désir narcissique et illusoire de contrôler parfaitement son image ? Sans doute pas uniquement, parce qu’en droit de l’Union européenne des données, il est admis que l’« enfermement » et les « stéréotypes » qu’induit le profilage peuvent favoriser des comportements ou des opinions standardisés. Or, c’est la conclusion de cet article, cette tendance n’est pas sans conséquences sur les instruments dont disposent les individus pour contester le profilage – aux niveaux individuel et collectif.

[1] La Quadrature du Net, « L’algorithme de notation de la CNAF attaqué devant le Conseil d’État par 15 organisations », 17 octobre 2024. Un scandale a éclaté pour des raisons similaires aux Pays-Bas en 2021, dévoilant les biais racistes de l’algorithme utilisé par l’organisme en charge de l’attribution des allocations familiales, voir le compte-rendu des questions orales du Parlement européen du 29 juin 2022, https://www.europarl.europa.eu/doceo/document/O-9-2022-000028_FR.html.

[2] CJUE, 7 décembre 2023, OQ c/Land Hessen, aff. C-634/21, ECLI:EU:C:2023:957, ci-après OQ c/Land Hessen

[3] L’article 22 du RGPD reprend largement l’article 15 de la directive 95/46/CE, qui s’inspire lui-même des dispositions qui figurent à l’article 2 de la loi française informatique et liberté n° 78-17 du 6 janvier 1978 depuis sa version initiale : « aucune décision administrative ou privée impliquant une appréciation sur un comportement humain ne peut avoir pour seul fondement un traitement automatisé d’information donnant une définition du profil ou de la personnalité de l’intéressé ».

[4] Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, article 22.

[5] Il existe trois exceptions à cette interdiction générale, lorsque le traitement est prévu par la loi, nécessaire à l’exécution d’un contrat ou qu’il est basé sur le consentement. Dans ces situations, les droits généraux du RGPD s’appliquent (droit à l’information, droit d’accès, droit de rectification) auxquels s’ajoute le droit d’obtenir une explication sur le traitement. Ces points sont développés plus bas dans l’article.

[6] OQ c/Land Hessen, pt 16.

[7] OQ c/Land Hessen, pt 61.

[8] RGPD, article 22, §1.

[9] RGPD, article 22, §1.

[10] OQ c/Land Hessen, pt 46.

[11] Cette analyse se retrouve dans les Conclusions de l’avocat général Pikamäe, rendues le 16 mars 2023 sous OQ c/Land Hessen, aff. C-634/21, ECLI:EU:C:2023:220, ci-après « Conclusions ».

[12] OQ c/Land Hessen, pt 48.

[13] Les conclusions de l’avocat général dans cette affaire rejoignent cette affirmation : « le score établi par une société d’information commerciale et communiqué à un établissement financier tend généralement à prédéterminer la décision de cette dernière concernant l’octroi ou le refus du crédit à la personne concernée » de sorte que la décision de l’établissement financier est purement « formelle » (Conclusions, pt. 47).

[14] Conclusions, pt 43.

[15] OQ c/Land Hessen, pt 59 et 66.

[16] OQ c/Land Hessen, pt 61.

[17] RGPD, article 22, §2.

[18] OQ c/Land Hessen, pt 46.

[19] OQ c/Land Hessen, pt 45. Sur le réexamen, par une personne humaine, du traitement automatisé des données de connexion, voir CJUE, 6 octobre 2020, La Quadrature du Net e.a. contre Premier ministre e.a., aff. jointes C-511/18 et C-512/18, ECLI:EU:C:2020:791 .

[20] Conclusions, pt 37.

[21] Conclusions, pt 39.

[22] Id.

[23] OQ c/Land Hessen, pt 47.

[24] OQ c/Land Hessen, pt 48. La Cour suit ici le raisonnement de l’avocat général : « l’aspect qui me semble jouer un rôle crucial est celui lié à la question de savoir si la procédure de prise de décision est conçue de telle manière que le scoring effectué par la société d’information commerciale prédétermine la décision de l’établissement financier d’accorder ou de refuser le crédit », conclusions, pt 42.

[25] OQ c/Land Hessen, pt 50.

[26] Sur le « pragmatisme » de la Cour dans ce raisonnement qui déduit la nature de l’acte de ses effets, voir Emmanuel Netter, « Quand la force de conviction du scoring bancaire provoque sa chute. L’interprétation extensive, par la CJUE, de la prohibition des décisions entièrement automatisées », Revue trimestrielle de droit commercial et de droit économique, 2024, vol. 7, n°2, p. 342-348.

[27] Voir Nathan Genicot, « Un score de crédit constitue-t-il une décision automatique au sens du RGPD », Blog du Centre Perelman, https://centreperelman.be/un-score-de-credit-constitue-t-il-une-decision-automatique-au-sens-du-rgpd/

[28] Voir par exemple, sur les conséquences en droit du travail, Aza Asymina, « Scores as Decisions? Article 22 GDPR and the Judgment of the CJEU in SCHUFA Holding (Scoring) in the Labour Context », Industrial Law Journal, vol. 53, n°4, 2024, p. 840–858.

[29] Sur l’importance des différentes étapes de la décision, voir Liane Huttner, « Données personnelles – Décisions automatisées : le réveil d’un géant endormi ? (note ss CJUE, 1re ch., 7 déc. 2023, aff. C-634/21, Schufa) », Communication Commerce électronique n°2, février 2024, étude 3.

[30] Conclusions, pt 43.

[31] Lignes directrices relatives à la prise de décision individuelle automatisée et au profilage aux fins du règlement (UE) 2016/679, adoptées le 3 octobre 2017 par le groupe de travail « Article 29 » sur la protection des données, ci-après « Lignes directrices », citées par l’avocat général dans ses conclusions (note 6).

[32] Ibid.

[33] Ibid.

[34] L’affaire met particulièrement bien en scène la distinction entre ces deux étapes, qui pourraient avoir lieu au sein d’une même entreprise : « si le score fait autorité (ce qui pourra être mesuré sur le terrain, après sa mise en service), alors sa seule production est en soi une décision. Si celle-ci est entièrement automatisée, alors l’article 22 trouve à s’appliquer, en dépit de l’intervention humaine ultérieure », in Emmanuel Netter, « Quand la force de conviction du scoring bancaire provoque sa chute. L’interprétation extensive, par la CJUE, de la prohibition des décisions entièrement automatisées », art. cité n 26.

^[35] RGPD, article 15, sous h.

^[36] OQ c/Land Hessen, pt 63.

[37] « Dans le cas d’une prise de décision automatisée, telle que celle visée à l’article 22, paragraphe 1, du RGPD, d’une part, le responsable du traitement est soumis à des obligations d’information supplémentaires en vertu de l’article 13, paragraphe 2, sous f), ainsi que de l’article 14, paragraphe 2, sous g), de ce règlement. D’autre part, la personne concernée bénéficie, en vertu de l’article 15, paragraphe 1, sous h), dudit règlement, du droit d’obtenir du responsable du traitement, notamment, « des informations utiles concernant la logique sous-jacente, ainsi que l’importance et les conséquences prévues de ce traitement pour la personne concernée », OQ c/Land Hessen, pt 56.

[38] L’extrait du Considérant 71 sur le droit à obtenir une explication apparaît seulement dans le « cadre juridique » posé par l’arrêt, OQ c/Land Hessen, pt 3.

[39] Voir Judith Rochfeld, « Le droit de ne pas subir des décisions totalement automatisées », in Martial-Braz, N. et Rochfeld, J. (dir.), Droit des données personnelles : les spécificités du droit français au regard du RGPD, Dalloz, 2019, p. 175-192.

[40] Lignes directrices, p. 28.

[41] Sandra Wachter, Brent Mittelstadt et Luciano Floridi, « Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation », International Data Privacy Law, vol. 7, n° 2, 2017, p. 76–99 : l’exemple du score de crédit est détaillé au début de l’article pour faire la différence entre l’explication avant ou après l’évaluation.

[42] Ces facteurs d’individualisation, voir Judith Rochfeld, « Le droit de ne pas subir des décisions totalement automatisées », op. cit., p. 189.

[43] CJUE, 27 février 2025, CK contre Magistrat der Stadt Wien, aff. C‑203/22, ECLI:EU:C:2025:117.

[44] OQ c/Land Hessen, pt 25.

[44] Conclusions, pt 58. L’Avocat général renvoie aux Lignes directrices, p. 28 et 30.

[45] Conclusions, pt 57.

[46] Lilian Edwards et Michael Veale, « Slave to the Algorithm? Why a “Right to an Explanation” Is Probably Not the Remedy You Are Looking For », Duke Law Technol. Rev., vol 16, n° 1, 2017. Voir aussi sur ces questions : Frank Pasquale, The Black Box Society, Harvard University Press, 2015 et Antoinette Rouvroy, « Governing Without Norms: Algorithmic Governmentality », Psychoanalytical Notebooks, vol. 32, 2018, p. 99-102.

[47] OQ c/Land Hessen, pt 59 et 66.

[48] OQ c/Land Hessen, pt 66.

[49] Judith Rochfeld, « Le droit de ne pas subir des décisions totalement automatisées », op. cit, p. 191.

[50] Conclusions, pt 51.

[51] La désuétude des conceptions traditionnelles de la vie privée pour comprendre les enjeux soulevés par l’usage massif des données personnelles est au cœur de l’article de Helen Nissenbaum, « Privacy as Contextual Integrity », Washington Law Review, vol. 79, n°1, 2004, p. 109-139.

[52] Pour saisir la spécificité de ce droit à contrôler les usages faits des données, par contraste avec le droit à la vie privée, le juriste américain Daniel Solove a utilisé une distinction devenue célèbre entre deux types d’inquiétudes. La première est celle avec laquelle joue Orwell dans 1984 : la crainte de voir la vie privée disparaître derrière le volume des données qui circulent. Il n’y aurait plus de lieu où garder ses secrets. Pour D. Solove, ce n’est pas ce qui est en jeu aujourd’hui. Le péril ne résulte pas d’un État « Big Brother » qui surveille constamment ses citoyens, affirme-t-il, parce que les données sont le plus souvent insignifiantes et que personne ne se soucie vraiment de leur divulgation. Il serait plus pertinent de faire référence au Procès de Kafka qui met en scène un homme incapable d’accéder aux informations à l’origine de son arrestation. Le problème ne tient pas tant à la collecte des données qu’à leur utilisation. Par conséquent, le droit doit protéger les individus contre ces décisions qui les affectent mais dont ils ne comprennent pas les ressorts, et pas uniquement contre les méfaits d’une surexposition de leur intimité, Daniel Solove, “A Taxonomy of Privacy”, University of Pennsylvania Law Review, vol. 154, n°3, 2006, p. 477–564.

[53] CJUE, 4 octobre 2024, Maximilian Schrems contre Meta Platforms Ireland Limited., aff. C-446/21, ECLI:EU:C:2024:834.

[54] Selon l’avocat général, la stigmatisation résulte du fait que le score représente de façon infidèle les qualités de la personne en l’assignant à une catégorie qui ne lui correspond pas, voir plus haut.

[55] Ces deux composantes correspondent en partie aux deux « facettes » de la vie privée identifiées par Antoinette Rouvroy et Yves Poullet à la suite de la décision de la Cour constitutionnelle fédérale allemande sur le recensement : se retirer du monde et y développer ses propres choix, Yves Poullet, « La loi des données à caractère personnel : un enjeu fondamental pour nos sociétés et nos démocraties ? », LEGICOM, vol. 42, n°1, 2009, p. 47-69.

[56] Pour une présentation canonique de l’autonomie privée comme condition d’exercice de l’autonomie publique, voir Habermas Droit et démocratie, Paris, Gallimard, 1997, p. 100-119.

[57] CJUE, 8 avril 2014, Digital Rights Ireland Ltd,aff.jointes C‑293/12 et C‑594/12, ECLI:EU:C:2014:238.

[58] Lignes directrices, p. 28.

[59] Marion Fourcade et Kieran Healy, The Ordinal Society, Harvard University Press, 2024.

[60] Article L. 311-3-1 du Code des relations entre le public et l’administration, auquel fait mention l’article 47 de Loi « Informatique et Libertés » citée plus haut.

[61] Article 612-3 du Code de l’éducation.

[62] Ibid.

^[63] Décision du Conseil constitutionnel n° 2020-834 QPC du 3 avril 2020, §17.

[64] CJUE, 13 mai 2014, Google Spain SL et Google Inc. contre Agencia Española de Protección de Datos (AEPD) et Mario Costeja González, aff. C-131/12, ECLI:EU:C:2014:317.

[65] Eleni Frantziou, « Further Developments in the Right to be Forgotten: The European Court of Justice’s Judgment in Case C-131/12, Google Spain, SL, Google Inc v Agencia Espanola de Proteccion de Datos, Human Rights Law Review », vol. 14, n°4, 2014, p. 761–777.

[66] Voir les travaux d’Antoinette Rouvroy, qui déplore la fétichisation du droit à la vie privée.

[67] Charles Girard, Délibérer entre égaux, Paris, Vrin, 2019 p. 172-182.

[68] Sur cet héritage, voir les travaux de Julien Rossi, Protection des données personnelles et droit à la vie privée : enquête sur la notion controversée de « donnée à caractère personnel, thèse dactyl. soutenue à l’Université de technologie de Compiègne, le 10 juillet 2020.

[69] BVerfG, Order of the First Senate of 15 December 1983 – 1 BvR 209/83 -, paras. 1-214.

[70] Cour d’appel de Gand (Belgique), 3 juin 2024, 2022/AR/508.

[71] Le Digital Services Act comporte, dans son Considérant 72, des dispositions sur le profilage à l’origine du ciblage publicitaire, voir Règlement (UE) 2022/2065 du Parlement européen et du Conseil du 19 octobre 2022 relatif à un marché unique des services numériques. Sur les liens entre ce profilage et les enjeux de modération, voir Anastasia Ilipoulou-Penot, « La constitution numérique européenne », Revue française de droit administratif, n° 5, 2023, p. 953.

[72] Article 22, §4.

[73] Bernard Harcourt, Against Prediction. Profiling, Policing, and Punishing in an Actuarial Age, The University of Chicago Press, 2007.

[74] Sur la logique qui envisage les atteintes aux droits sous la forme d’un « risque » dans l’encadrement juridique du traitement des données, voir Van Dijk, N., Gellert, R. M., & Rommetveit, K., « A Risk to a Right? Beyond data protection risk assessment », Computer Law & Security Review, 2016, vol. 32, n°2, 286-306.

[75] Conclusions, pt 38.

^[76] Daniel Sabbagh, « Vers une relégitimation du “profilage ethno-racial” ? », Critique internationale, n° 14, 2002, p. 33-38, Sur la reconnaissance de discriminations statistiques en droit de l’Union européenne, voir Gwénaële Calvès, « La discrimination statistique devant la Cour de justice de l’Union européenne : première condamnation », Revue de droit sanitaire et social, n°4, 2011, p. 645-657.

[77] Pour une analyse des différentes atteintes au droit à ne pas faire l’objet d’un traitement discriminatoire que peuvent causer les décisions automatisées, voir Francesca Palmiotto, « When is a Decision Automated? A Taxonomy for a Fundamental Rights Analysis”, German Law Journal, à paraître.

^[78] Voir Raphaele Xenidis, « Tuning EU equality law to algorithmic discrimination: Three pathways to resilience », Maastricht Journal of European and Comparative Law, vol. 27, n°6, 2020, 736-758 et B.A. Williams, C.F. Brooks et Y. Shmargad, « How Algorithms Discriminate Based on Data They Lack: Challenges, Solutions, and Policy Implications», Journal of Information Policy, n°8, 2018, p. 82–83.

^[79] Raphaele Xenidis et Linda Senden, « EU Non-Discrimination Law in the Era of Artificial Intelligence: Mapping the Challenges of Algorithmic Discrimination », in Bernitz U. et al (dir.), General Principles of EU law and the EU Digital Order, Kluwer Law International, 2020, p. 151-182.

^[80] Voir sur ce risque Bernard Harcourt, Against Prediction, Chicago, University of Chicago Press, 2007.

^[81] Joy Buolamwini et Timnit Gebru, « Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification », Proceedings of Machine Learning Research, vol. 81, 2018, p. 1–15.

[82] CJUE, 27 février 2025, CK contre Magistrat der Stadt Wien, aff. C‑203/22, ECLI:EU:C:2025:117.

^[83] Voir par exemple Kasper Lippert-Rasmussen, K. (2011). « “We are all different”: Statistical discrimination and the right to be treated as an individual », The Journal of Ethics, vol. 15, n°1-2, p. 47-59.

^[84] Ronald Dworkin, A Matter of Principle, Harvard, Harvard University Press, 1985, Daniel Sabbagh, L’Égalité par le droit : les paradoxes de la discrimination positive aux États-Unis, Paris, Economica, 2003.

^[85] Frederick Schauer, Profiles, Probabilities, and Stereotypes, Harvard, Harvard University Press, 2003 et Frederick Schauer, « Statistical and Non-Statistical Discrimination » in Kasper Lippert-Rasmussen K. (dir..), The Routledge Handbook of the Ethics of Discrimination, Routledge, 2017.

[86] Sandra Wachter et Brent Mittelstadt, « A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI», Columbia Business Law Review, n°2, 2019.

[87] Cela correspond bien aux enjeux de l’affaire Schrems contre Meta citée plus haut (note 52).

^[88] OQ c/Land Hessen, pt 14.

^[89] Idem.

[90] Bernard Harcourt, La société d’exposition, Paris, Seuil, 2020, p. 241.

[91] Antoinette Rouvroy et Thomas Berns, « Le nouveau pouvoir statistique ou quand le contrôle s’exerce sur un réel normé, docile et sans événement car constitué de corps numériques », Multitudes, vol. 40, 2010, p. 88-103.

[92] Nathan Genicot, « Classer, évaluer, hiérarchiser », La Vie des idées, 13 juin 2024, https://laviedesidees.fr/Classer-evaluer-hierarchiser.

[93] Sur l’encadrement de l’usage par l’administration des algorithmes auto-apprenants et les risques que soulèvent l’évolution et la révision des critères, voir la Décision n° 2018-765 DC du 12 juin 2018 (Conseil constitutionnel français).

[94] Sur les rapports entre profilage, identité et récits, voir Hans-Georg Moeller et Paul J. D’Ambrosio, You and Your Profile. Identitty after Authenticity, Columbia University Press, 2021. Je remercie Antoinette Rouvroy d’avoir attiré mon attention sur ce point.