EN FRANCE, L’INTELLIGENCE ARTIFICIELLE AMPLIFIE LES PRÉJUGÉS ISLAMOPHOBES

 
Le problème posé par l’utilisation abusive de l’intelligence artificielle est que des données biaisées peuvent conduire un algorithme à traiter certains groupes de manière discriminatoires. En France, pays considéré par beaucoup de medias étrangers, comme l’un des plus islamophobe du monde, des préjugés islamophobes se sont infiltrés dans divers systèmes d’intelligence artificielle. Voici quelques domaines où des biais anti-musulmans ont été identifiés ou suspectés :
 
Police prédictive et sécurité : l’IA cible les personnes « racisées »

Dans le domaine policier, plusieurs logiciels de prédiction de la criminalité ont suscité l’inquiétude, car ils intègrent des indicateurs socio-démographiques fortement corrélés à l’origine ou à la religion des habitants. Par exemple, le système PAVED, développé en 2017 par la Gendarmerie, et depuis mis en pause face aux accusation dont il a été l’objet, utilisait des variables telles que la nationalité ou des données d’immigration pour estimer le risque de cambriolage. De telles variables servent indirectement de proxy pour cibler les quartiers à forte population immigrée (souvent d’origine maghrébine ou africaine, majoritairement musulmane). Cela a conduit à sur-surveiller ces populations déjà exposées au racisme structurel. Autrement dit, l’algorithme intègre un biais : il associe davantage la criminalité à des critères socio-ethniques, amplifiant ainsi des préjugés préexistants.
Ces biais peuvent provoquer un effet auto-renforçant. Si un algorithme oriente plus de patrouilles vers certaines zones perçues comme « à risque », la police y détectera mécaniquement plus d’infractions mineures, générant des données qui confortent l’algorithme dans son biais. Le site indépendant de surveillance  du web : « Quadrature du Net » note que cela aboutit à une démultiplication du contrôle policier dans les mêmes quartiers et à une stigmatisation accrue de leurs habitants. D’autres systèmes utilisés en France, comme PredVol, ou M-Pulse à Marseille, ont manqué de transparence et d’évaluations indépendantes, au point que des ONG demandent aujourd’hui leur interdiction pour prévenir des discriminations injustifiées.
Enfin, dans le contexte de la lutte antiterroriste, on peut craindre des biais islamophobes si des outils de profilage automatisé associent des signes religieux (prénom, tenue vestimentaire, fréquentation d’une mosquée…) à un risque de radicalisation. Des projets de police prédictive plus opaques pourraient renforcer la surveillance des citoyens de confession musulmane sur la base de signaux faibles ou de stéréotypes. Notons d’ailleurs qu’au niveau européen, la France a plaidé pour préserver la possibilité de rechercher une personne via des critères révélant une croyance religieuse dans le cadre de l’AI Act . Une telle disposition, visant notamment la reconnaissance faciale en temps réel, soulève des préoccupations car elle pourrait institutionnaliser le profilage religieux automatisé, par exemple détecter et suivre des femmes portant le hijab.
 
Recrutement et tri de CV : la discrimination silencieuse

Les algorithmes de recrutement utilisés par certaines entreprises ou plateformes d’emploi peuvent perpétuer les discriminations à l’embauche déjà bien documentées envers les candidats perçus comme musulmans. Des études par testing en France ont montré qu’à compétences égales, un candidat portant un nom à consonance arabo-musulmane a 30 % de chances en moins d’être convoqué en entretien par rapport à un candidat au nom « français ». Ainsi, une candidate prénommée Khadija ou un candidat prénommé Mohamed seront beaucoup moins souvent retenus qu’un postulant nommé Camille ou Thomas, simplement à cause de préjugés liés à l’origine maghrébine ou musulmane du nom.
Si un logiciel de tri de CV est entraîné sur des données historiques de recrutement, il risque d’apprendre ces pratiques discriminatoires et de les reproduire voire les amplifier. Par exemple, un modèle d’IA qui aurait analysé des milliers de CV acceptés ou rejetés dans le passé pourrait internaliser le fait que les CV comportant certains prénoms ou lieux de naissance sont systématiquement moins retenus. Bloomberg a ainsi montré qu’un système basé sur GPT-3 chargé de classer des CV pouvait défavoriser des candidats uniquement en raison de leur prénom. L’algorithme écartera ainsi de façon disproportionnée des candidatures de Français musulmans (ou perçus comme tels), entérinant l’exclusion de cette population du monde du travail. Si les données de recrutement biaisées ne sont pas corrigées, l’IA pourrait noter plus faiblement un CV comportant le prénom Ahmed ou une expérience dans une association musulmane, par rapport à un CV similaire sans ces marqueurs. Cela va à l’encontre du principe d’égalité des chances et prolonge la discrimination religieuse à l’embauche sous une apparence de neutralité technologique.
 
Contenus en ligne : une censure sélective

Les grandes plateformes (Facebook, Twitter, YouTube…) ont recours à l’IA pour modérer la masse de contenus publiés. Or, la modération automatisée a deux écueils inverses qui concernent la question de l’islamophobie : d’une part, elle peut laisser passer de nombreux contenus de haine anti-musulmans, et d’autre part, elle peut censurer à tort du contenu lié à l’islam qui ne pose aucun problème.

Plusieurs rapports ont souligné que les algorithmes actuels ne parviennent pas à filtrer la haine en ligne de manière satisfaisante. En 2021, selon la Commission européenne, seuls 62,5 % des contenus haineux signalés étaient effectivement supprimés par les réseaux sociaux. Autrement dit, près d’un tiers des messages de haine échappaient encore aux systèmes de modération. Les discours islamophobes font partie de ces contenus proliférants. Sur Twitter par exemple, des campagnes de harcèlement à l’encontre de personnalités musulmanes (élues, journalistes, militantes) sont souvent amplifiées par des bots ou des comptes extrémistes qui échappent au filtrage. En clair, le moteur de Twitter ou de YouTube, optimisé pour maximiser l’attention, tend à mettre en avant des publications outrageantes (parfois islamophobes), ce qui augmente leur audience et banalise ces idées.
De même, des membres de communautés minoritaires constatent que la modération automatique peut être biaisée à leur détriment. Par exemple, des militants antiracistes se sont plaints que l’usage de certains mots (comme “islamophobie” ou la dénonciation d’un propos raciste) entraîne la suspension de leurs posts, alors que les insultes voilées ou mots codés utilisés par les haineux restent en ligne. Cette surcensure de contenus pourtant légitimes touche aussi les utilisateurs musulmans partageant leur culture ou leur foi : des textes en arabe ou des références religieuses peuvent être erronément filtrés si l’algorithme les confond avec de la propagande extrémiste. Faute de contexte et de compréhension fine, l’IA peut commettre des faux positifs de censure. Ce fut le cas lorsqu’un modérateur automatisé de Facebook a brièvement bloqué la diffusion d’une photo de femmes portant le hijab, ou encore lorsqu’un hadith (citation religieuse) a été supprimé car l’algorithme l’a associé au terrorisme (incapable de distinguer un message spirituel d’un appel radical). Ainsi, les systèmes actuels de modération, en plus de laisser prospérer une partie de la haine anti-musulmane, peuvent aussi brider l’expression des utilisateurs musulmans innocentés, ce qui pose un problème de liberté d’expression et d’équité de traitement des différentes communautés en ligne.
 
Reconnaissance faciale et surveillance visuelle : un « Big Brother » islamophobe ?
 
Les logiciels de reconnaissance faciale sont connus pour leurs biais « biométriques » ou « ethniques », qui peuvent indirectement affecter les populations musulmanes en France. Ces systèmes d’IA, entraînés principalement sur des visages de certaines origines, affichent souvent des taux d’erreur plus élevés sur les personnes à la peau mate ou foncée, ou portant des attributs atypiques (barbe, couvre-chef religieux, etc.). Une étude de 2019 du NIST (institut national des normes aux États-Unis) a révélé que de nombreux algorithmes commerciaux identifiaient faux des visages asiatiques ou africains 10 à 100 fois plus souvent que des visages de personnes blanches. En d’autres termes, les minorités ethniques subissent beaucoup plus de faux positifs (confusions entre deux individus distincts) et de faux négatifs (échecs à reconnaître la personne) que le groupe majoritaire.
Or, en France, une proportion importante des citoyens de confession musulmane sont d’origine maghrébine, moyen-orientale ou africaine. Ils sont donc plus susceptibles d’être mal reconnus par la caméra. Un faux positif en reconnaissance faciale n’est pas anodin : cela peut conduire à l’interpellation injustifiée d’une personne innocente parce que l’IA a cru reconnaître son visage à la place d’un autre. Aux États-Unis, des hommes noirs ont ainsi été arrêtés à tort suite à des erreurs de reconnaissance faciale. On peut craindre le même type de méprise envers des Français d’origine nord-africaine ou turque, par exemple, si ces technologies étaient déployées de façon hâtive. De même, un faux négatif (incapacité à vérifier l’identité d’une personne) peut entraîner des contrôles supplémentaires ciblant des femmes voilées dont le visage serait mal détecté, ou des voyageurs dont le passeport est refusé aux bornes automatiques à cause de leur apparence non prise en compte par l’algorithme. Ces situations créent une discrimination à l’accès (à un vol aérien, à un lieu, etc.) basée sur l’incapacité technique à reconnaître correctement certains visages.
Par ailleurs, l’utilisation de la reconnaissance faciale peut être orientée de manière discriminatoire. Si les caméras de surveillance sont déployées en priorité dans des zones dites “sensibles” (souvent peuplées d’une forte proportion de résidents musulmans), ou si les autorités ciblent particulièrement des rassemblements liés à l’islam (p.ex. sorties de mosquée, événements culturels), cela revient à un contrôle technologique disproportionné sur une minorité religieuse. En résumé, sans garanties, la reconnaissance faciale risque d’amplifier le profilage déjà subi par les personnes perçues comme musulmanes : plus de vérifications d’identité, plus d’erreurs d’identification à leur égard, et un sentiment accru de surveillance spécifiquement tourné contre elles.
 
Algorithmes administratifs : Les services publics racistes malgré eux ?

Au-delà du secteur privé et policier, les biais algorithmiques peuvent aussi toucher les services publics en France, avec des conséquences potentielles pour les usagers musulmans. Un exemple emblématique est l’algorithme de scoring qu’utilisait la Caisse d’allocations familiales (CAF) pour détecter les fraudes aux prestations sociales. Cet outil attribuait à chaque allocataire un « score de suspicion », censé prédire la probabilité qu’il fraude, afin d’orienter les contrôles. Or, en 2024, Amnesty International a révélé que la formule de calcul reposait en grande partie sur des variables socio-économiques potentiellement discriminantes : faible revenu, famille monoparentale, résidence en quartier défavorisé, etc. Ces critères pénalisaient structurellement les personnes en situation précaire, souvent issues de l’immigration, sans lien avéré avec une quelconque fraude individuelle.
 
Même si la CAF n’utilisait pas explicitement la religion ou l’origine ethnique dans ses variables, il y avait un biais indirect : par exemple, le fait d’être parent isolé avec de faibles ressources est statistiquement plus fréquent chez les mères d’origine immigrée. Dès lors, cet algorithme sur-ciblait des allocataires issus de minorités (dont des Français musulmans), les classant comme “à risque” et déclenchant des contrôles intrusifs surtout envers eux. Ce traitement différencié algorithmique a été dénoncé comme portant atteinte au principe d’égalité. L’opacité a longtemps régné autour de ce système, jusqu’à ce que la pression citoyenne force la divulgation de son code source et conduise à une remise en question de son usage .
D’autres algorithmes publics ont soulevé des préoccupations similaires. Par exemple, dans le contexte de la lutte antiterroriste, l’administration a recours à des systèmes de surveillance de masse (fichiers S, algorithmes de détection sur les réseaux) qui, selon des rapports, touchent majoritairement des personnes de confession musulmane ou assimilées, renforçant un sentiment de stigmatisation communautaire.
La sous-représentation des minorités dans la conception de ces outils aggrave le problème. Si les experts qui paramètrent les algorithmes administratifs ne considèrent pas l’effet de certaines données proxy (adresse, nationalité, etc.), le résultat peut être une discrimination indirecte mais bien réelle. Le Défenseur des droits a d’ailleurs insisté sur la nécessité d’auditer et de corriger ces systèmes pour éviter une automatisation des discriminations illégales dans les services publics.
 
Quelles sont les causes techniques des biais algorithmiques ?
 
Plusieurs facteurs techniques expliquent comment ces biais islamophobes s’implantent et se propagent dans les IA :
Biais dans les données d’entraînement : La qualité et la représentativité des données servent de fondation à tout système d’IA. Si les données historiques contiennent des discriminations passées, l’algorithme les apprendra. Par exemple, un modèle entraîné sur des textes du web intègrera les stéréotypes dominants : GPT-3 ayant absorbé des millions de pages où les musulmans sont associés au terrorisme (articles de presse sensationnalistes, propos haineux de forums, etc.), il a reproduit ces associations dans ses réponses. De même, un réseau de neurones entraîné sur des images majoritairement de personnes blanches aura plus de mal à reconnaître les autres phénotypes. Dans le cas des CV, si l’ensemble de formation indique que 80 % des candidats recrutés s’appelaient “Jean” ou “Marie” et très peu “Rachid” ou “Nadia”, la machine en déduira que les premiers prénoms sont gage de réussite et pourra éliminer les seconds par préférence statistique.
Biais dans la conception de l’algorithme : Les choix des développeurs influent grandement. Parfois, ce sont des variables inappropriées qui sont incluses dans le modèle. Dans PAVED par exemple, le fait d’avoir intégré la nationalité ou le revenu comme facteurs prédictifs est un choix discutable qui a mécaniquement introduit du biais. D’autres fois, c’est l’objectif même de l’algorithme qui pose problème : un filtre de modération cherchant à supprimer tout message contenant certains mots (liés à l’islam radical) va fatalement commettre des erreurs de contexte. L’absence de diversité parmi les concepteurs peut aussi conduire à négliger des cas d’usage propres aux minorités. Par exemple, une IA de détection d’incivilités entraînée à partir de signalements du public pourrait sur-représenter les doléances visant des groupes minoritaires (voile, rassemblements religieux) si les préjugés du public n’ont pas été corrigés dans la conception. L’idéologie du concepteur peut également transparaître – volontairement ou non – dans les paramètres : un programmeur nourri de discours “sécuritaires” pourrait fixer un seuil de détection très bas pour les contenus liés à l’islam, provoquant de nombreux faux positifs.
Manque de représentativité et d’audit : Beaucoup de systèmes d’IA sont des boîtes noires dont on n’évalue pas assez l’équité. Si l’on ne teste pas un algorithme sur des cas d’usage variés (par exemple vérifier qu’un chatbot traite de manière neutre toutes les religions dans ses réponses), on ne décèlera pas ses biais avant déploiement. De même, l’absence de données étiquetées pour certaines catégories peut empêcher l’IA de les reconnaître correctement. Les premiers logiciels de reconnaissance faciale ignoraient souvent les visages voilés ou barbus simplement parce que ces apparences étaient sous-représentées dans les datasets de développement. Sans un effort conscient pour inclure des portraits de femmes portant le hijab, par exemple, le système aura du mal à les identifier ou risquera de les signaler à tort comme “anomales”. La chercheuse australienne Kate Crawford résume : « La plus grande menace des systèmes d’IA n’est pas qu’ils deviennent plus intelligents que les humains, mais qu’ils encodent en dur le sexisme, le racisme et d’autres discriminations dans l’infrastructure numérique de notre société » . En l’absence de garde-fous, l’IA a tendance à fossiliser les préjugés humains au lieu de les corriger.
Effet “boîte noire” et manque de transparence : Un biais peut passer inaperçu parce qu’il est dilué dans un modèle complexe. Les techniques de « deep learning » n’offrent pas toujours une explication claire de leurs décisions. Il devient alors difficile de repérer qu’un algorithme traite différemment les musulmans. Par exemple, si un score de risque de fraude de la CAF est élevé pour Mme Aït Ahmed sans que personne ne comprenne que c’est dû, entre autres, à son patronyme d’origine nord-africaine (via des corrélations cachées), le biais agit silencieusement. L’opacité complique aussi la contestation des décisions algorithmique biaisées. Sans accès aux critères, une victime de discrimination algorithmique ne peut prouver le tort subi. C’est pourquoi la vigilance humaine tout au long du cycle de vie de l’IA est cruciale : audits externes, tests avant déploiement sur des profils divers, et possibilité d’explication sur demande. Ces bonnes pratiques commencent à être recommandées pour détecter les biais avant qu’ils ne fassent trop de dégâts .
 
Des conséquences sociales désastreuses pour les populations musulmanes
 
Les biais islamophobes dans l’IA ne sont pas qu’un problème technique – ils ont des répercussions bien réelles sur la vie des personnes visées et sur la société française dans son ensemble. Parmi ces conséquences, on peut citer :

Les discriminations renforcées dans l’emploi et l’éducation : Si des candidatures de Français musulmans sont filtrées négativement par des algorithmes de recrutement, ces personnes auront moins d’opportunités d’embauche, même dans des entreprises se voulant impartiales. Cela peut aggraver le taux de chômage déjà supérieur chez les Français d’origine maghrébine ou subsaharienne. De même, on peut imaginer des biais dans des systèmes d’orientation scolaire ou de bourse étudiante qui désavantageraient, par exemple, les habitants de certains quartiers. Ces mécanismes pénalisent économiquement les individus ciblés et entravent leur ascension sociale, pérennisant des inégalités fondées sur la religion ou l’origine. À terme, une partie de la jeunesse musulmane peut être démoralisée de constater que “la machine est contre eux” autant que certains recruteurs humains l’étaient autrefois.

Une surveillance accrue et des libertés restreintes : Avec des outils policiers biaisés, les populations musulmanes ou perçues comme telles subissent davantage de contrôles d’identité, d’interpellations et de suspicion générale. Cela alourdit un vécu déjà dénoncé de profilage ethnique au faciès. Être continuellement ciblé par les caméras “intelligentes” ou dans les bases de données de surveillance crée un climat de soupçon permanent autour de ces citoyens, comme s’ils étaient une menace en puissance. On voit émerger une forme de « présomption algorithmique de culpabilité » à l’égard des musulmans, qu’il s’agisse de fraude sociale, de délinquance ou de radicalisation. Socialement, cela accentue la stigmatisation : les individus surveillés se sentent exclus de la communauté nationale, traités en ennemis intérieurs. Certaines familles musulmanes pourraient restreindre leurs pratiques (porter moins ostensiblement des signes religieux, éviter de se rassembler trop nombreux) de peur d’être fichées par une IA, ce qui constitue une atteinte indirecte à la liberté de culte et d’expression.
Impact psychologique et climat de peur : Subir l’injustice d’un algorithme peut provoquer un profond sentiment d’impuissance et d’humiliation. Par exemple, se voir refuser systématiquement des entretiens sans savoir qu’un filtre biaisé est en cause peut entamer l’estime de soi. De même, être faussement accusé par un logiciel policier ou banni d’une plateforme en ligne crée de la détresse et de la colère. À l’échelle collective, ces expériences alimentent la défiance envers les autorités et les technologies. Les citoyens musulmans risquent de percevoir l’IA non pas comme un progrès neutre, mais comme un énième instrument dirigé contre eux. Près d’un musulman sur deux en France déclare avoir subi une discrimination dans sa vie quotidienne, et l’automatisation pourrait faire grimper ce chiffre si rien n’est fait. Ce climat anxiogène peut pousser certains à envisager de quitter la France ou à se replier communautairement, ce qui va à l’encontre du vivre-ensemble.

La banalisation des préjugés dans la société : Quand des biais sont intégrés dans des outils utilisés massivement (recherche d’information, réseaux sociaux, etc.), ils peuvent influencer l’opinion générale. Par exemple, si les premiers résultats d’une recherche liée à l’islam mettent en avant des contenus négatifs (parce qu’un algorithme de classement biaisé favorise les polémiques), les utilisateurs peu informés peuvent en tirer une image déformée des musulmans. De même, si des IA conversationnelles comme des assistants vocaux répondent avec des stéréotypes (même involontairement), elles contribuent à ancrer ces stéréotypes dans l’esprit du public. C’est un cercle vicieux : l’IA amplifie un préjugé, qui se répand davantage, ce qui fournit encore plus de données biaisées pour entraîner d’autres IA. À terme, la légitimation de l’islamophobie peut s’intensifier – puisque « même l’ordinateur le dit » – rendant plus difficile le combat contre les discours de haine.

Une augmentation des tensions sociales et un risque de fragmentation de la société : Le sentiment d’injustice algorithmique peut attiser des tensions entre communautés. Si une partie de la population se sent lésée par des décisions automatisées opaques, sa colère peut se tourner à la fois contre les institutions (accusées de racisme technologique) et contre la majorité perçue comme indifférente à son sort. On assiste potentiellement à un creusement du fossé entre citoyens : d’un côté ceux qui bénéficient d’algorithmes bienveillants ou neutres, de l’autre ceux qui en subissent les erreurs biaisées. Cela sape la confiance dans le pacte républicain d’égalité. Par exemple, la révélation d’un algorithme de welfare scoring ciblant surtout des allocataires d’origine étrangère peut renforcer le ressentiment de ces derniers envers l’administration, et la méfiance réciproque. Inversement, l’insuffisance de modération de la haine anti-musulmane en ligne contribue à normaliser cette haine, ce qui menace la cohésion sociale et augmente le risque d’agressions ou d’actes anti-musulmans dans la vie réelle. On l’a vu tragiquement avec la hausse des attaques de mosquées ou d’insultes publiques lorsque le débat médiatique se polarise sur l’islam, et même, le 25 avril, l’assassinat d’une fidèle dans sa mosquée, sans que cela n’émeuve fortement le gouvernement.  Les biais algorithmiques peuvent ainsi avoir un rôle insidieux dans ces dynamiques en amplifiant la diffusion de contenus haineux ou en créant des injustices qui alimentent la frustration
En somme, les biais islamophobes dans l’IA tendent à institutionnaliser la discrimination envers les musulmans sous couvert de calcul objectif. Ils provoquent une perte de chances (emploi, droits sociaux), une sur-surveillance liberticide, un mal-être et un repli identitaire, tout en validant auprès du grand public des stéréotypes dangereux. Ces effets sapent les valeurs d’égalité et de fraternité : il ne s’agit pas seulement d’erreurs techniques, mais d’un phénomène portant atteinte aux droits fondamentaux (non-discrimination, dignité) et au lien social en France.
 
Études, rapports et initiatives en France sur ces enjeux

Face à ces constats, de nombreux acteurs en France – chercheurs, associations, autorités publiques – se sont emparés du sujet des biais algorithmiques et de leurs effets discriminatoires, notamment vis-à-vis des minorités religieuses. Voici quelques publications et travaux notables :

Le Défenseur des droits (2020 & 2024) – L’institution chargée de veiller au respect des droits a publié plusieurs rapports d’alerte. En 2020, le rapport « Algorithmes : prévenir l’automatisation des discriminations » soulignait déjà le danger de voir les inégalités se reproduire à travers les outils numériques. Plus récemment, en novembre 2024, la Défenseure des droits, Claire Hédon,  a consacré une étude aux algorithmes utilisés dans les services publics. Elle y recense les points de vigilance, dénonce l’opacité de certains systèmes et recommande vivement d’évaluer l’impact discriminatoire des algorithmes d’État avant leur déploiement. Ce rapport cite en exemple l’algorithme de la CAF ou les outils d’orientation Pôle emploi, en rappelant que même sans intention malveillante, leur usage peut mener à des traitements inéquitables. La Défenseure des droits préconise davantage de transparence, de formation des concepteurs à l’éthique, et de contrôles réguliers pour corriger les biais. Son message est clair : la transition numérique de l’administration ne doit pas se faire au détriment des usagers vulnérables, et la non-discrimination doit être un impératif de chaque projet d’IA publique.

« La Quadrature du Net » et les ONG technologiques – Des organisations de défense des libertés numériques comme La Quadrature du Net (LQDN) se sont mobilisées pour documenter les abus potentiels de l’IA sécuritaire. En janvier 2024, LQDN a publié un rapport fouillé sur la police prédictive en France, répertoriant les logiciels employés (PredVol, Paved, etc.) et leurs dangers . Elle y dénonce l’absence d’encadrement légal et le recours à des facteurs socio-démographiques « potentiellement discriminatoires ». Le rapport conclut que ces outils sont « susceptibles de cibler les populations les plus précarisées et exposées au racisme structurel » et en appelle à interdire la police prédictive avant qu’elle ne crée une justice automatisée à deux vitesses. De même, LQDN a mené, avec d’autres collectifs, une campagne contre l’algorithme de la CAF (2022-2023), obtenant la communication de son code source et mettant en lumière son indécence vis-à-vis des droits des allocataires . Ces travaux associatifs, souvent en collaboration avec des médias d’investigation (Mediapart, Disclose sur l’AI Act, etc.), ont un rôle crucial de lanceur d’alerte. Ils poussent le débat dans la sphère publique et offrent des analyses techniques indépendantes pour contrebalancer le discours officiel souvent focalisé sur l’innovation.

Médias d’investigation et think tanks – Des journalistes et experts ont également investigué le sujet. Par exemple, Mediapart a publié des articles de blog ou d’analyse sur « les algorithmes et le racisme », expliquant de manière sociologique comment le code peut discriminer en reproduisant les stéréotypes de la société. Le Monde (Les Décodeurs) a couvert à plusieurs reprises les alertes du Défenseur des droits ou les polémiques autour de la reconnaissance faciale biaisée. Des think tanks comme l’Institut Montaigne ou Renaissance Numérique ont édité des rapports sur les biais de l’IA, généralement pour proposer des outils de détection des biais et encourager une IA plus inclusive. Par exemple, l’Institut Montaigne (2019) notait le manque d’exemples publics en France de discriminations algorithmiques tout en mettant en garde contre un excès de confiance dans la “neutralité” de la machine. Ce genre de rapport, diffusé aux décideurs, vise à anticiper les dérives en recommandant des bonnes pratiques (diversifier les données, instaurer des audits externes, impliquer des profils variés dans les équipes IA, etc.).

Universitaires et laboratoires de recherche – Enfin, le monde académique en France s’est saisi de la problématique de l’éthique de l’IA et des biais. Des chercheurs en informatique, en droit et en sciences sociales collaborent pour étudier l’impact des IA sur les discriminations. Citons par exemple le programme SHADES du CNRS sur les biais dans les systèmes de décision, ou les travaux de chercheurs comme Laurence Devillers (CNRS) sur la nécessité d’algorithmes explicables et loyaux. L’Observatoire de l’IA de la Sorbonne publie régulièrement des articles pédagogiques (par ex. sur les dérives de la modération automatique ). Des conférences et séminaires dédiés ont vu le jour (à Télécom Paris, Inria, etc.) pour échanger autour des moyens de détecter et corriger les biais (outils de fairness, intelligence artificielle explicable, etc.). De même, des cursus en IA intègrent désormais des modules d’éthique pour sensibiliser les futurs data scientists. Cette effervescence montre une prise de conscience grandissante dans l’écosystème français de l’IA : la recherche de la performance ne peut se faire sans considérer les impacts sociaux.

Initiatives de la société civile – Plusieurs associations antiracistes ou de défense des droits des musulmans ont commencé à intégrer la question algorithmique dans leur plaidoyer. Plusieurs d’entre elles se sont constituées parties civiles dans des actions contre Twitter France pour non-retrait des contenus haineux, argumentant que l’entreprise doit améliorer ses algos de détection sous peine de faciliter un harcèlement raciste de masse. L’ex-CCIF (Collectif contre l’islamophobie) évoquait déjà avant sa dissolution le danger des outils de surveillance disproportionnée envers les musulmans. Récemment, des collectifs de citoyens (comme ceux autour de Technopolice) organisent des ateliers pour informer le public de leurs droits face aux décisions algorithmiques (droit d’explication, droit de refus d’une décision automatisée, etc. prévus par le RGPD). Enfin, des voix s’élèvent pour que les entreprises détenant des IA à large usage (Google, Meta…) ouvrent leurs données aux chercheurs afin d’évaluer les biais – condition nécessaire pour agir en connaissance de cause.

En résumé, la France n’est pas dépourvue d’analyses ni de garde-fous potentiels : les problèmes sont de mieux en mieux documentés par des rapports officiels, des ONG et des chercheurs. La question est à présent de traduire ces constats en actions concrètes (régulation, audits contraignants, sanctions en cas de discrimination avérée, etc.) afin d’éviter que les scénarios identifiés ne deviennent la norme. Mais cela est une décision politique. Les dernières positions et déclarations de certains membre du gouvernement français, comme le ministre de l’intérieur Bruno Retailleau qui proclamait, lors d’une réunion publique « À bas le voile », ou encore la dissolution du Collectif Contre l’Islamophobie en France (CCIF) qui avait pointé du doigt ces dérives numériques, ne laisse pas beaucoup de place à l’optimisme.
 
Comment ce problème est-il traité à l’étranger ?

Les enjeux de biais islamophobes dans l’IA ne sont pas propres à la France. D’autres pays ont été confrontés à des problèmes similaires, offrant des leçons à tirer et des points de comparaison :

Aux États-Unis, plusieurs scandales ont mis en lumière les biais raciaux et religieux de systèmes d’IA américains. Dans le domaine de la justice pénale, l’algorithme COMPAS utilisé pour évaluer le risque de récidive a été accusé de discriminer les minorités (davantage de faux positifs de “risque élevé” pour les accusés noirs, et possiblement pour les accusés perçus comme musulmans). En matière de police prédictive, des villes comme Los Angeles ou Chicago ont expérimenté des logiciels qui envoyaient de façon disproportionnée des patrouilles dans les quartiers afro-américains ou latinos, créant un profilage algorithmique proche de celui observé en France pour les quartiers multi-ethniques. Sous la pression civile, certaines de ces villes ont suspendu ces programmes, conscients du danger d’automatiser des biais policiers historiques. Par ailleurs, les pratiques de surveillance de masse post-11 septembre ont souvent ciblé les communautés musulmanes aux États-Unis : programmes comme NYPD Demographics Unit (surveillance systématique des quartiers musulmans de New York) ou le projet de “prédiction de la radicalisation” via les réseaux sociaux ont stigmatisé des innocents. Si ces initiatives utilisaient relativement peu d’IA à l’époque, on craint qu’avec les avancées actuelles (analyse automatisée des communications, reconnaissance faciale dans les aéroports américains, etc.), les mêmes biais se perpétuent à plus grande échelle. La leçon américaine, c’est que la prise de conscience peut mener à des correctifs : sous la pression d’enquêtes (ProPublica sur COMPAS) et d’ONG (ACLU, EFF…), certaines agences ont revu leurs algorithmes ou augmenté la supervision humaine. Néanmoins, le problème est loin d’être réglé, comme l’illustre le cas de GPT-3 développé par une entreprise californienne : il contenait un biais anti-musulman massif, reconnu publiquement, ce qui a poussé OpenAI à travailler sur des filtres de sortie et à diversifier son corpus. L’expérience américaine montre donc l’importance de la recherche de biais (red-teaming) sur les modèles et de la pression publique pour forcer les acteurs à rectifier le tir.

Le Royaume-Uni offre un exemple frappant de prise en compte des biais discriminatoires dans l’IA d’État. En 2020, le ministère de l’Intérieur (Home Office) a dû abandonner un algorithme de filtrage des visas accusé d’être raciste. Ce système classait les demandes de visa en “risque élevé” ou “faible” de manière automatique, mais les organisations comme Foxglove ont révélé qu’il défavorisait injustement les demandeurs provenant de pays africains, moyen-orientaux ou sud-asiatiques, donc potentiellement beaucoup de musulmans. Qualifié de « racist visa algorithm  » par les militants, il a été suspendu suite à une action en justice, et le gouvernement britannique a lancé une refonte pour éliminer les biais de nationalité dans le processus. C’est une victoire notable, car elle démontre qu’une discrimination indirecte par algorithme (sur la base du pays d’origine, très corrélé avec la religion) peut être combattue juridiquement. Au-delà de ce cas, le Royaume-Uni a multiplié les réflexions éthiques : l’instance ICO et le Centre for Data Ethics publient des guides pour “l’IA loyale”. Cependant, des problèmes persistent : la police londonienne a utilisé un “Gang Matrix” pour surveiller des milliers de jeunes supposés membres de gangs, dont une large part issus de minorités ethniques et musulmanes, ce qui a été critiqué par Amnesty UK comme de la discrimination systémique automatisée. Le gouvernement britannique a également un programme (Prevent) de détection des signes de radicalisation où des outils algorithmiques évaluent le profil d’individus – un dispositif accusé de viser de manière biaisée les musulmans britanniques ordinaires sous prétexte de prévenir l’extrémisme islamiste. Là encore, la société civile (communauté musulmane et associations de défense des droits de l’homme) exerce une vigilance accrue. L’expérience britannique met en lumière la nécessité d’évaluations d’impact éthiques avant mise en service d’un algorithme public, et l’importance de mécanismes de recours (ombudsman de l’IA, plaintes, etc.) pour corriger le tir lorsqu’un biais est découvert.

Ailleurs en Europe on retrouve des problématiques analogues. Aux Pays-Bas, le scandale du système SyRI (système de détection des fraudeurs aux allocations) a révélé une discrimination envers les habitants de quartiers pauvres, souvent d’origine immigrée. En 2020, un tribunal néerlandais a jugé SyRI illégal car portant atteinte à la vie privée et introduisant une discrimination indirecte (les populations d’origine étrangère étaient davantage ciblées). Un signal fort qui résonne avec le cas français de la CAF. En Allemagne et en Suède, des études ont montré que les offres d’emploi sponsorisées en ligne pouvaient exclure les personnes portant un nom à consonance étrangère, en raison des algorithmes d’adserving formés sur les clics des recruteurs (biaisés). Ces pays commencent à légiférer pour imposer de la transparence aux algorithmes de recrutement ou de crédit. En Belgique, la question de la reconnaissance faciale et de son biais a surgi dans le débat public, notamment après que la STIB (Bruxelles) a testé des caméras pour repérer des individus interdits de stade : les craintes de faux positifs sur base ethnique ont mené à la prudence. De manière générale, l’Union européenne travaille sur le Règlement AI Act, qui classerait certaines utilisations de l’IA (comme la notation sociale, la reconnaissance faciale en temps réel) comme à haut risque voire inacceptables, précisément à cause des risques de biais discriminatoires qu’elles comportent. Ce cadre à venir, bien que soumis à des négociations (où la France a défendu ses vues sécuritaires ), témoigne d’une volonté continentale de fixer des lignes rouges éthiques. L’UE s’appuie aussi sur son arsenal existant (RGPD, directive antidiscrimination) pour rappeler que les traitements algorithmiques ne doivent pas violer les droits fondamentaux, religion comprise.
États autoritaires : À titre de contraste, on peut mentionner que dans certains pays à la démocratie limitée, les biais anti-minorités dans l’IA sont institutionnalisés ouvertement. Par exemple, en Chine, des entreprises ont développé des systèmes de reconnaissance faciale capables d’identifier l’ethnie ouïghoure (musulmane), utilisés par la police dans le Xinjiang pour signaler la présence de Ouïghours en dehors de leur région. C’est une forme extrême et intentionnelle d’IA au service de la répression religieuse. Bien que sans commune mesure avec la situation française, cet exemple souligne en creux l’importance de nos garde-fous : il montre ce qu’il faut absolument éviter, c’est-à-dire une technologie asservie à des préjugés d’État. Dans les pays occidentaux, les biais islamophobes sont le plus souvent le fruit de négligences ou de systèmes mal pensés – et non d’un objectif explicite –, ce qui laisse la possibilité de les corriger avant qu’ils ne s’ancrent.

Sur le plan international, des initiatives émergent pour partager les meilleures pratiques et les recherches sur les biais algorithmiques. L’UNESCO a adopté en 2021 une Recommandation sur l’éthique de l’IA qui insiste sur l’équité, la non-discrimination et la diversité dans les données. La Commission européenne collabore avec des agences comme l’Agence des droits fondamentaux (FRA) qui a testé des modèles de détection de discours de haine et de police prédictive pour voir comment des biais surviennent. Ces échanges d’information permettent d’identifier, par exemple, que le biais anti-musulman dans les modèles linguistiques est un problème global (constaté en anglais, en français, en allemand…) et qu’il faut le traiter en amont (par la désintoxication des corpus, l’injection de contre-discours, etc.). Des conférences internationales sur l’IA équitable (ACM FAccT, ICML workshops…) publient chaque année des études de cas de biais et des méthodes pour les atténuer (par exemple, rééquilibrer les données d’entraînement ou contraindre l’algorithme à un résultat équitable via des corrections mathématiques). La France peut s’inspirer de ces travaux pour améliorer ses propres systèmes.
 
C’est aux populations victimes de ces biais de se mobiliser
 
L’analyse des cas français et des expériences étrangères montre que les systèmes d’IA peuvent, s’ils sont mal conçus ou mal utilisés, intégrer et amplifier des préjugés islamophobes. Des algorithmes de police prédictive ciblant les quartiers populaires aux IA de recrutement écartant les CV “non franchouillards”, en passant par des modérateurs de contenu laissant prospérer la haine anti-musulmane, les exemples concrets abondent. Techniquement, ces biais trouvent leur origine dans nos données et nos modèles : l’IA reflète les travers de la société et peut même les aggraver si aucune correction n’est apportée. Les conséquences pour les citoyens de confession musulmane – et, plus largement, pour la cohésion sociale – sont trop graves pour être ignorées : discrimination systémique, sentiment d’exclusion, renforcement des stéréotypes et des tensions communautaires. Une mobilisation des populations concernées devient urgente car la droitisation de l’appareil d’État fait craindre que celui-ci ne se mobilisa pas autant qu’il ne faudrait pour corriger des biais qui, finalement, servent implicitement ses propres biais idéologiques.
 
Jean-Michel Brun