Gemini a généré ces images. Les résultats ont choqué des chercheurs.

Quand l'IA apprend à discriminer sans le savoir

En février 2024, Google suspend en urgence la fonctionnalité de génération d'images de son IA Gemini. La raison ? Le modèle produisait des représentations historiquement absurdes — des soldats nazis noirs, des Pères Fondateurs américains asiatiques — au nom d'une "diversité" mal calibrée. Mais derrière ce couac spectaculaire se cache un problème bien plus profond, bien plus silencieux, et bien plus dangereux : les biais raciaux systémiques encodés dans les grandes IA génératives.

Ce n'est pas une anecdote. C'est un symptôme.

Comprendre d'où viennent ces biais

Les modèles d'IA générative — qu'il s'agisse de Gemini chez Google, de DALL-E chez OpenAI, ou de Stable Diffusion — apprennent à partir de milliards d'images et de textes issus d'internet. Or, ce corpus numérique n'est pas neutre. Il reflète des décennies de représentations médiatiques biaisées, de publicités stéréotypées, de littératures coloniales et de hiérarchies visuelles profondément ancrées dans nos cultures.

Concrètement, cela se traduit par des patterns préoccupants :

• Des associations automatiques : demandez à une IA de générer "un médecin", vous obtenez statistiquement un homme blanc. Demandez "une aide-soignante", le résultat sera féminin et souvent racisé.
• Des représentations esthétiques discriminantes : les visages générés comme "beaux" ou "professionnels" tendent à présenter des traits européens standardisés.
• Des biais textuels invisibles : dans les LLM (grands modèles de langage), des études ont montré que des prénoms à consonance afro-américaine génèrent plus souvent des descriptions négatives que des prénoms à consonance blanche.

Le cas Gemini : une correction qui a créé d'autres problèmes

L'affaire Gemini est un cas d'école fascinant. Face aux critiques sur le manque de diversité de ses premières générations d'images, Google a tenté de corriger le tir en sur-ajustant ses paramètres de diversité. Le résultat a été un désastre d'un autre type : une diversité forcée, anachronique, déconnectée du contexte historique.

Ce que cet épisode révèle, c'est l'extrême difficulté de traiter les biais raciaux dans l'IA. Corriger un biais sans en comprendre la structure profonde, c'est risquer d'en créer un nouveau. Google a voulu bien faire. Le résultat a été perçu comme de la manipulation et de l'incohérence.

La leçon n'est pas que la diversité est une mauvaise idée. La leçon, c'est que plaquer une solution cosmétique sur un problème systémique ne fonctionne pas.

Des impacts concrets sur des vies réelles

On pourrait croire que des images générées par IA, c'est anecdotique. Ce serait une erreur grave. Ces technologies sont désormais intégrées dans des systèmes qui affectent directement les individus :

• Recrutement automatisé : des outils d'analyse de CV et de vidéos d'entretien utilisent des modèles IA qui ont démontré des biais raciaux documentés.
• Reconnaissance faciale : les taux d'erreur des algorithmes sont jusqu'à 10 fois plus élevés pour les visages à peau foncée, selon une étude du MIT Media Lab publiée dès 2018.
• Génération de contenu médiatique : les rédactions qui utilisent l'IA pour illustrer leurs articles amplifient mécaniquement ces stéréotypes à grande échelle.
• Outils éducatifs : des applications pédagogiques utilisant l'IA génèrent des représentations qui conditionnent la perception des jeunes utilisateurs.

Ce que font — et ne font pas — les grandes entreprises

La transparence reste le talon d'Achille du secteur. OpenAI publie des "system cards" pour ses modèles. Google a créé une équipe dédiée à l'IA responsable — avant de la restructurer sous pression économique en 2023. Meta communique sur ses efforts de fairness. Mais les audits indépendants restent rares, et les données d'entraînement, opaques.

Quelques initiatives méritent d'être citées :

• Le projet FairFace, qui cherche à créer des datasets d'entraînement équilibrés racialement.
• Les travaux de chercheuses comme Joy Buolamwini (MIT) ou Timnit Gebru (ex-Google), qui ont mis ces biais sur la place publique au prix de leur carrière.
• La réglementation européenne, notamment l'AI Act, qui impose des exigences de non-discrimination pour les systèmes à haut risque.

Que peut-on exiger, concrètement ?

La critique sans proposition n'est pas suffisante. Voici ce que chercheurs, régulateurs et utilisateurs peuvent légitimement exiger :

• L'audit obligatoire et public des datasets d'entraînement sur les critères de représentativité.
• Des benchmarks de biais standardisés, comparables d'un modèle à l'autre.
• La diversité réelle des équipes qui conçoivent ces systèmes — pas seulement en communication, mais dans les postes de décision technique.
• Un droit au recours pour les individus discriminés par des systèmes automatisés.

Conclusion : l'IA ne fait que refléter ce que nous lui donnons

Les biais raciaux dans les IA génératives ne tombent pas du ciel. Ils sont le miroir grossissant de nos propres inégalités, accélérées et industrialisées par des systèmes entraînés sans garde-fous suffisants. L'enjeu n'est pas d'opposer progrès technologique et justice sociale — il est de refuser que l'un se construise sur le déni de l'autre.

Gemini a été suspendu, patché, relancé. Mais le vrai travail — long, difficile, politique autant que technique — ne fait que commencer. Et il ne peut pas se faire sans voix diverse à la table de conception.

— Reservoir Live