ENTRÉE 10 – LA REPRODUCTION STRUCTURELLE DE L'EXCLUSION PAR LA CONCEPTION ALGORITHMIQUE

LA REPRODUCTION STRUCTURELLE DE L'EXCLUSION PAR LA CONCEPTION ALGORITHMIQUE

Les algorithmes de recrutement sont conçus pour rationaliser les procédures, éliminer les biais humains et garantir une sélection basée sur le mérite. Pourtant, leur utilisation révèle une réalité différente : un tri automatisé qui reproduit les inégalités sociales, parfois de manière plus systématique que les pratiques traditionnelles. Derrière la promesse d'objectivité se cache une logique statistique qui confond fréquence et pertinence, transformant les données historiques en normes implicites.

La question n'est pas de savoir si les algorithmes peuvent discriminer — ils le font déjà. La vraie question est de savoir comment ces biais émergent, d'où ils viennent, quels effets ils produisent et comment ils peuvent être régulés.

Cette analyse se déroule en quatre étapes : premièrement, nous observons les formes identifiables de discrimination dans le tri algorithmique ; deuxièmement, on examinera les causes structurelles et humaines de ces biais ; troisièmement, on évaluera leurs effets concrets sur les trajectoires professionnelles ; et enfin, on explorera les mécanismes de régulation proposés par le protocole Benz pour sanctionner et remédier à ces distorsions.

I – La discrimination algorithmique se manifeste à travers des critères identifiables

I1 – Ces formes de discrimination apparaissent à travers des biais fondés sur le genre, l'origine ou l'âge

*/ Le biais de genre émerge de la réplication statistique : les systèmes algorithmiques entraînés sur des données historiques de recrutement reproduisent souvent des schémas qui favorisaient les candidats masculins, en particulier dans les rôles techniques et de leadership. Le système n'interroge pas le contexte — il traite la fréquence comme la pertinence, supposant que ce qui était courant doit être optimal. Cette logique transforme les inégalités passées en exclusions présentes. Le biais est rarement intentionnel ; il découle de l'architecture statistique elle-même. L'algorithme apparaît neutre, mais ses résultats encodent des hiérarchies structurelles. Comme le soutient Meredith Broussard, le « technochauvinisme » suppose que les solutions computationnelles sont intrinsèquement équitables, masquant ainsi la discrimination intégrée. Le biais de genre devient un sous-produit de l'optimisation, où l'écart par rapport aux profils dominants est pénalisé.

Des enquêtes menées aux États-Unis ont révélé que les systèmes de tri automatisés excluaient les candidates des rôles techniques en raison de données d'entraînement biaisées reflétant des antécédents d'embauche à prédominance masculine.

*/ Le biais d'origine découle de variables indirectes : les algorithmes s'appuient souvent sur des points de données tels que le nom, le code postal ou l'école fréquentée — des variables qui sont corrélées à l'origine sociale mais qui ne sont pas directement liées à la compétence. Ces marqueurs agissent comme des proxys, permettant au système de reproduire les exclusions intégrées dans les données historiques. L'algorithme n'a pas l'intention de discriminer ; il apprend simplement des schémas sans interroger leur signification sociale. Cette logique statistique traite la corrélation comme la pertinence, transformant les marqueurs d'identité en indicateurs de risque. Le résultat est une discrimination indirecte, où l'exclusion se produit par le biais de variables qui apparaissent neutres. Comme le soutiennent Solon Barocas et Andrew Selbst, la discrimination par procuration est l'une des formes les plus insidieuses de préjudice algorithmique.

Des études menées en France et aux États-Unis ont montré que les candidats ayant des noms à consonance minoritaire sont significativement moins susceptibles d'être présélectionnés, même lorsqu'ils sont également qualifiés.

Le biais lié à l'âge pénalise les trajectoires non linéaires : les systèmes algorithmiques favorisent souvent les profils qui apparaissent stables, continus et « productifs » selon des définitions statistiques étroites. Les candidats plus âgés, ou ceux ayant des lacunes dans leur carrière et des reconversions, sont fréquemment exclus non pas en raison de leur compétence, mais parce que leurs parcours s'écartent du modèle dominant. Cela reflète une vision réductrice de la performance, où la déviation est assimilée à l'inefficacité. L'algorithme n'interprète pas le contexte — il filtre en fonction de la conformité des schémas. Comme le soutient Kate Crawford, de tels systèmes encodent une logique d'optimisation qui efface la complexité vécue. Le résultat est une forme d'âgisme structurel, où l'expérience et l'adaptabilité sont sous-évaluées.

Des recherches menées aux États-Unis et en Europe ont montré que les candidats plus âgés sont systématiquement sous-sélectionnés par les outils de recrutement automatisés, même lorsque leurs qualifications correspondent ou dépassent celles des candidats plus jeunes.

Ces formes de discrimination ne sont pas des anomalies isolées — elles révèlent une incapacité plus profonde des algorithmes à tenir compte de la diversité des trajectoires humaines.

II – Les causes des biais algorithmiques sont structurelles et humaines

II1 – Les biais proviennent des données d'entraînement utilisées

*/ Les ensembles de données d'entraînement reproduisent les hiérarchies sociales : les ensembles de données utilisés pour calibrer les algorithmes ne sont pas des archives neutres — ils reflètent les pratiques sociales et institutionnelles qui les ont générés. Lorsque ces ensembles de données encodent des schémas d'exclusion, l'algorithme apprend à les reproduire sans critique. Il traite la fréquence statistique comme la pertinence professionnelle, renforçant les profils dominants et marginalisant les autres. Cette logique transforme les inégalités historiques en normes opérationnelles. Le système ne demande pas pourquoi certains groupes étaient sous-représentés ; il suppose simplement que la sélection passée équivaut à l'aptitude future. Comme le soutient Safiya Noble, les données ne sont jamais neutres — elles portent l'empreinte des structures de pouvoir qui les ont façonnées. L'apprentissage algorithmique devient un mécanisme de reproduction sociale, et non d'innovation.

En France, une étude menée dans le secteur bancaire a révélé que les algorithmes de recrutement favorisaient systématiquement les candidats de sexe masculin et de race blanche, reflétant des données d'entraînement biaisées tirées des cycles d'embauche précédents.

*/ La neutralité des données est une fiction statistique : les données sont souvent présentées comme objectives, mais elles sont façonnées par des choix humains — quoi collecter, comment étiqueter et quelles variables prioriser. Même lorsque des attributs sensibles comme la race ou le genre sont exclus, des variables corrélées comme le code postal, le type de diplôme ou le parcours scolaire peuvent reconstruire les mêmes exclusions. L'algorithme, dans sa volonté d'optimiser la performance, apprend à éviter les singularités et à favoriser les schémas dominants. Cette exclusion indirecte devient systémique, opérant sous la surface de la conception technique. Comme l'a démontré Latanya Sweeney, les algorithmes peuvent discriminer sans être explicitement programmés pour le faire. Le préjudice ne réside pas dans l'intention, mais dans le résultat : la logique statistique devient un mécanisme de tri social.

Aux États-Unis, l'étude de Sweeney sur le ciblage publicitaire basé sur les noms a révélé que les noms afro-américains étaient disproportionnellement liés à des publicités suggérant des casiers judiciaires, exposant ainsi un biais algorithmique profond dans les résultats de recherche.

L'origine des biais ne se limite pas aux données ; elle s'étend aux choix techniques faits par les concepteurs, qui encodent des préférences implicites dans l'architecture du système.

II2 – Les critères de sélection définis par les concepteurs jouent un rôle décisif

*/ Les concepteurs intègrent des préférences implicites : les critères de sélection ne sont pas neutres — ils sont construits par des ingénieurs qui traduisent les priorités organisationnelles en paramètres techniques. La priorisation de la stabilité de l'emploi, de la progression de carrière linéaire ou de formations spécifiques exclut systématiquement les profils atypiques. Ces exclusions ne sont pas accidentelles ; elles reflètent les représentations sociales dominantes sur ce qui constitue un « bon » candidat. Comme le soutient Bruno Latour, tout système technologique porte une vision du monde — un ensemble de suppositions sur la façon dont le monde devrait être ordonné. La conception d'un algorithme devient un acte politique, façonnant l'accès et les opportunités. Même sans intention explicite, ces systèmes reproduisent les inégalités structurelles. La critique ne réside pas dans la présence de biais, mais dans son invisibilité : l'algorithme apparaît objectif tout en mettant en œuvre l'exclusion.

En France, une étude a révélé que les plateformes de recrutement pénalisaient les candidats issus de quartiers défavorisés en appliquant des filtres géographiques corrélés au statut socio-économique.

*/ La conception encode une logique d'exclusion statistique : les systèmes algorithmiques sont construits sur des paramètres techniques — pondérations, seuils et règles de priorisation — qui déterminent la façon dont les données sont interprétées et triées. Ces paramètres sont rarement neutres ; ils reflètent des préférences et des hypothèses non documentées sur ce qui constitue la valeur, le risque ou la légitimité. Les concepteurs ne sont pas des techniciens passifs : ils intègrent des choix sociaux dans le code. La lutte contre les biais exige plus qu'un ajustement technique — elle exige une interrogation critique des intentions et des visions du monde intégrées dans l'architecture du système. Comme le soutient Virginia Eubanks, les systèmes automatisés effacent souvent les parcours marginaux, traitant la déviation comme une erreur plutôt que comme un signal. Cette logique ne se contente pas de refléter l'inégalité ; elle l'opérationnalise.

Aux États-Unis, les outils de tri algorithmique utilisés dans les services d'aide sociale ont exclu des familles des programmes de soutien sur la base de critères techniques opaques et injustifiés.

Ces causes structurelles ne sont pas théoriques — elles produisent des effets tangibles sur les parcours professionnels et les politiques d'inclusion.

III – Les effets des biais algorithmiques sont concrets et durables

III1 – Ces biais affectent directement les trajectoires professionnelles

*/ L'exclusion algorithmique opère dès le début : les systèmes de recrutement automatisés filtrent les candidats qui s'écartent des profils standardisés avant toute interaction humaine. Ces personnes ne reçoivent aucun retour d'information, aucune explication et aucune possibilité de contextualiser leur trajectoire. L'exclusion est silencieuse, invisible et incontestable. Ce mécanisme transforme l'algorithme en un gardien qui impose la conformité. Selon Serge Paugam, l'accès à l'emploi n'est pas seulement économique — c'est un vecteur central d'intégration et de reconnaissance sociales. Lorsque les algorithmes excluent sans justification, ils brisent ce lien. La question n'est pas seulement technique, mais symbolique : le déni de visibilité renforce la marginalisation. L'opacité algorithmique devient ainsi une forme de violence structurelle, où l'exclusion est mise en œuvre sans trace ni responsabilité.

En France, une étude a montré que les candidats issus de zones défavorisées étaient significativement moins susceptibles d'être présélectionnés, bien qu'ils aient des qualifications équivalentes à celles de leurs pairs.

*/ Les trajectoires sont façonnées sans justification explicite : les systèmes algorithmiques font plus que filtrer — ils orientent. Les exclusions répétées créent des schémas de découragement, conduisant les candidats à intérioriser le rejet et à recalibrer leurs aspirations. Le silence de l'algorithme n'est pas neutre : il produit une boucle de rétroaction où l'inaccessibilité perçue devient auto-limitante. Ce mécanisme transforme le tri en orientation. Dominique Cardon observe que les algorithmes ne perçoivent pas la singularité ; ils réduisent les individus à des séquences comparables, effaçant le contexte et la complexité. Le résultat est un rétrécissement des futurs, où l'écart par rapport à la norme est pénalisé sans explication. La critique réside dans l'absence de dialogue : le système ne parle qu'en termes de résultats, jamais en termes de raisons.

Aux États-Unis, des plateformes de recrutement ont été accusées d'exclure systématiquement les candidats ayant des lacunes dans leur carrière, quelles que soient les raisons ou la pertinence pour le poste.

Ces effets vont au-delà des individus — ils remettent en question les politiques d'inclusion et la capacité des organisations à assurer une véritable diversité dans le recrutement.

III2 – Ces effets remettent en question les politiques d'inclusion et la diversité du recrutement

*/ Les outils contredisent les engagements déclarés : le discours des entreprises célèbre souvent la diversité, mais les systèmes techniques déployés dans le recrutement la sapent. Les algorithmes conçus pour optimiser la performance ont tendance à favoriser les profils dominants — ceux qui correspondent aux schémas de réussite historiques. Cela crée une tension entre les valeurs déclarées et les résultats opérationnels. La diversité ne peut être atteinte par la seule intention ; elle doit être intégrée dans la conception, les critères et les méthodes d'évaluation. Françoise Gresy soutient que l'égalité n'est pas une posture rhétorique mais une exigence structurelle : sans transformer les outils, l'inclusion reste aspirationnelle. La contradiction réside dans l'invisibilité du mécanisme — les entreprises apparaissent inclusives tout en reproduisant l'exclusion. L'algorithme devient un agent silencieux d'homogénéisation, filtrant la différence sous le couvert de l'efficacité.

En France, une étude a montré que les entreprises utilisant des systèmes de tri automatisés avaient des taux de diversité significativement plus faibles que celles qui s'appuyaient sur des processus de recrutement dirigés par des humains.

*/ La conformité statistique exclut la singularité : les systèmes algorithmiques fonctionnent en identifiant des schémas et en optimisant la régularité statistique. Les parcours atypiques, les interruptions de carrière et les profils minoritaires sont traités comme des anomalies — des écarts par rapport à la norme. L'algorithme n'interprète pas le contexte ; il évalue la conformité. Cette logique pénalise la complexité et récompense la standardisation. Elle suppose que le succès passé est prédictif et que la déviation signale un risque. Un tel raisonnement efface l'expérience vécue et mine le pluralisme. Selon Ruha Benjamin, il ne s'agit pas d'un défaut technique mais d'un choix social intégré dans le code. L'inclusion ne peut être atteinte en ajustant uniquement les seuils — elle nécessite le démantèlement de l'épistémologie de l'uniformité.

En France, le Défenseur des droits — une autorité indépendante — a sanctionné une entreprise pour discrimination indirecte liée à son utilisation du tri automatisé dans le recrutement.

IV – Le protocole Benz applique des mécanismes de régulation pour sanctionner et remédier à la discrimination algorithmique

IV1 – Le protocole Benz applique des sanctions pour réguler les distorsions algorithmiques

*/ Les cadres juridiques comme le RGPD imposent la transparence et la non-discrimination : les réglementations existantes, telles que le Règlement général sur la protection des données, exigent que les systèmes algorithmiques soient explicables, équitables et responsables. Cependant, ces principes restent souvent abstraits lorsqu'ils sont appliqués à la prise de décision automatisée. Le protocole Benz cherche à opérationnaliser et à étendre ces normes, traitant les biais algorithmiques non pas comme un défaut technique mais comme une violation juridique. Il appelle à un changement dans le raisonnement juridique : l'effet discriminatoire doit primer sur l'intention du concepteur. Ce recadrage permet aux institutions d'agir de manière décisive, en utilisant des outils juridiques pour imposer des sanctions et exiger des mesures correctives. Les tribunaux ne sont plus des observateurs passifs de la dérive technologique — ils deviennent des agents de responsabilité. La mobilisation juridique transforme le préjudice abstrait en responsabilité exécutoire.

En France, le Conseil d'État a tenu une autorité publique responsable de l'utilisation d'un algorithme de notation qui discriminait indirectement les candidats boursiers issus de milieux à faibles revenus.

*/ Le protocole exige que les régulateurs transnationaux renforcent leurs pouvoirs : les systèmes algorithmiques opèrent au-delà des frontières, mais la plupart des organismes de réglementation restent confinés aux juridictions nationales. Ce décalage crée des angles morts dans la surveillance et l'application. Le protocole Benz appelle à une réponse transnationale coordonnée, où des entités comme MIRROR et le Bureau de l'IA collaborent pour mener des audits, partager des renseignements et imposer des sanctions. Une réglementation efficace doit intégrer l'autorité juridique, l'examen technique et le raisonnement éthique. Une gouvernance fragmentée permet aux systèmes biaisés de circuler sans contrôle. Le protocole recadre la surveillance comme une obligation collective, et non comme une initiative locale. Il insiste sur le fait que les régulateurs doivent passer d'une surveillance passive à une intervention active, traitant le préjudice algorithmique comme un risque mondial.

Des rapports coordonnés par les régulateurs européens ont conduit à la suspension d'outils de recrutement biaisés utilisés par une entreprise multinationale opérant dans cinq pays.

IV2 – Le protocole Benz propose des remèdes pour corriger les biais et garantir l'équité

*/ Les audits sont essentiels à la correction : les audits algorithmiques sont des outils de diagnostic qui examinent la façon dont les systèmes se comportent selon différents profils. Ils simulent les parcours des utilisateurs, testent les cas limites et détectent les disparités injustifiées dans les résultats. Les audits révèlent quelles variables agissent comme des proxys pour les attributs sensibles et permettent de recalibrer les modèles. Le protocole Benz élève les audits de garanties facultatives à procédures obligatoires, les considérant comme une condition de légitimité. La transparence n'est pas une vertu — c'est une condition préalable à la confiance. Sans examen externe, les biais restent non détectés et non corrigés. Les audits transforment l'opacité en responsabilité. Ils offrent une méthode concrète d'amélioration, reliant l'analyse technique à la surveillance éthique.

En France, des audits indépendants ont conduit une grande entreprise à revoir son algorithme de recrutement après avoir découvert un biais de genre systématique dans la présélection des candidats.

*/ La conception éthique doit commencer dès la conception : l'équité ne peut pas être ajoutée après coup — elle doit être intégrée dès le départ. « L'équité dès la conception » exige que la diversité soit intégrée dans les ensembles de données d'entraînement, l'architecture des modèles et les critères d'évaluation. Les développeurs doivent documenter leurs choix, anticiper les biais et interroger les hypothèses sociales encodées dans les décisions techniques. L'éthique n'est pas un accessoire ; c'est le cadre qui façonne la logique du système. Le protocole Benz rejette les correctifs superficiels et appelle à une transformation structurelle. Il recadre la conception comme un lieu de responsabilité, où l'inclusion est conçue, et non déclarée. Des chartes de conception inclusive ont émergé sur les plateformes transnationales, signalant un passage de la conformité réactive à la responsabilité proactive.

Aux Pays-Bas, les principales plateformes de RH ont adopté une charte contraignante exigeant la représentativité dans les données d'entraînement et la transparence dans la documentation des modèles.

*/ La traçabilité garantit la responsabilité : les systèmes algorithmiques doivent être auditables — chaque étape de leur conception, de leur entraînement et de leur déploiement doit être documentée. La traçabilité permet d'expliquer, de contester et de corriger les décisions. Elle transforme les processus opaques en processus responsables. Sans traçabilité, les biais restent non prouvables et la responsabilité diffuse. Le protocole Benz traite la traçabilité non pas comme une caractéristique technique mais comme une obligation normative : c'est le fondement de l'équité et du contrôle institutionnel. La documentation devient une sauvegarde contre le déni, permettant aux régulateurs, aux utilisateurs et aux tribunaux de reconstituer la logique derrière les résultats. La traçabilité n'est pas une justification rétrospective — c'est une responsabilité proactive.

En Allemagne, une nouvelle législation exige la traçabilité complète des algorithmes du secteur public, y compris la documentation des données d'entraînement, des paramètres du modèle et des voies de décision.

Les algorithmes utilisés dans le recrutement ne sont pas des instruments neutres. En reproduisant les régularités statistiques des données passées, ils perpétuent les exclusions déjà ancrées dans les structures sociales. Le genre, l'origine, l'âge ou le parcours professionnel deviennent des variables pénalisantes — non pas parce qu'ils sont explicitement ciblés, mais parce qu'ils sont statistiquement sous-représentés. Ce transfert du pouvoir de décision vers des systèmes opaques transforme la discrimination en un effet secondaire de l'optimisation.

En réponse, le protocole Benz n'offre ni clémence ni ajustement superficiel. Il exige une réglementation basée sur la sanction juridique, la responsabilité du concepteur et une transformation des pratiques. L'objectif n'est pas de rendre les algorithmes « moins injustes », mais de les soumettre aux principes fondamentaux de l'égalité de traitement. Ce qui est en jeu, ce n'est pas seulement la correction d'un outil, mais la préservation des normes démocratiques dans un monde régi par des décisions automatisées.