> ## Documentation Index
> Fetch the complete documentation index at: https://ia101.nicolassandoz.fr/llms.txt
> Use this file to discover all available pages before exploring further.

# Biais, équité et travail invisible derrière l'IA

> D'où viennent les biais des modèles, comment ils se manifestent, comment les tester, et qui sont les travailleurs qui rendent ces systèmes possibles.

<Info>
  **Niveau** : Intermédiaire · **Prérequis** : [Impact cognitif](/ia-responsable/impact-cognitif) · **Temps de lecture** : \~6 min
</Info>

Un modèle de langage n'a pas d'opinion. Il reproduit des régularités statistiques présentes dans ses données d'entraînement, puis dans les préférences humaines qui ont servi à l'aligner. Quand ces données reflètent des déséquilibres du monde (et elles en reflètent toujours), le modèle les restitue, parfois amplifiés, toujours avec l'autorité tranquille d'un système technique. Comprendre ce mécanisme est indispensable dès lors que vos usages touchent des personnes.

## D'où viennent les biais

<Steps>
  <Step title="Les données de pré-entraînement">
    Les modèles sont entraînés sur d'immenses corpus issus du web. Ce web n'est pas un échantillon représentatif de l'humanité : il surreprésente l'anglais, les pays riches, les populations connectées, les producteurs de contenu en ligne. Ce qui est peu écrit est peu appris.
  </Step>

  <Step title="Le filtrage des données">
    Pour retirer les contenus toxiques, on applique des filtres automatiques. Ces filtres évincent aussi, involontairement, des usages linguistiques minoritaires, des variantes dialectales, des discussions légitimes sur des sujets sensibles. Le nettoyage introduit ses propres biais.
  </Step>

  <Step title="L'alignement sur les préférences humaines">
    L'étape d'alignement s'appuie sur des jugements humains : quelle réponse est préférable ? Les valeurs, la culture et le cadre de travail des annotateurs s'y inscrivent, tout comme les consignes rédigées par le fournisseur.
  </Step>

  <Step title="L'usage lui-même">
    La façon dont vous formulez un prompt oriente le modèle. Un prompt qui présuppose une réponse l'obtient généralement. Une partie des biais observés en pratique naissent de l'interaction, pas seulement du modèle.
  </Step>
</Steps>

<Note>
  Point souvent mal compris : un biais n'est pas nécessairement un bug à corriger. Un modèle qui associe « médecin » plus fréquemment au masculin **décrit statistiquement** un état passé du monde. Le problème surgit quand cette description devient **prescription**, quand elle oriente un tri de candidatures, une recommandation ou une évaluation.
</Note>

## Comment les biais se manifestent concrètement

<AccordionGroup>
  <Accordion title="Représentation et stéréotypes">
    Génération d'images où certains métiers sont systématiquement associés à un genre ou à une origine ; prénoms attribués par défaut ; descriptions qui mobilisent des attributs stéréotypés. Le phénomène est particulièrement visible sur les modèles d'image, où le résultat est immédiatement lisible.
  </Accordion>

  <Accordion title="Qualité inégale selon les langues">
    Les performances chutent nettement sur les langues peu représentées dans les corpus. Un modèle excellent en anglais peut être médiocre en langue régionale, en wolof ou en créole, et surtout, il **ne signale pas** cette baisse de fiabilité. Le français s'en sort bien, mais reste en retrait de l'anglais sur les tâches complexes.
  </Accordion>

  <Accordion title="Biais culturel implicite">
    Les normes sociales, les références, l'humour, les cadres juridiques évoqués par défaut sont majoritairement nord-américains. Un modèle interrogé sur le droit du travail sans précision de contexte glisse facilement vers un cadre qui n'est pas le vôtre.
  </Accordion>

  <Accordion title="Traitement différencié dans les décisions">
    C'est le risque le plus sérieux. Un système d'aide au tri de candidatures, à l'octroi de crédit ou à l'évaluation scolaire peut produire des écarts systématiques entre groupes, sans qu'aucune variable interdite n'apparaisse explicitement : d'autres variables en tiennent lieu de substitut (code postal, parcours, formulation).
  </Accordion>

  <Accordion title="Biais d'accessibilité et de style">
    Les modèles produisent une langue standardisée et normée. Ils tendent à corriger vers cette norme, ce qui peut effacer des façons d'écrire légitimes et pénaliser, par ricochet, ceux dont l'expression s'en éloigne.
  </Accordion>
</AccordionGroup>

## Tester les biais de vos propres usages

Vous n'avez pas besoin d'être chercheur pour détecter les problèmes les plus courants. Le principe est simple : **faire varier une seule caractéristique et comparer les sorties**.

```python theme={null}
# Test de substitution : seul le prénom change, tout le reste est identique
profils = [
    "Marie Dupont, 12 ans d'expérience en gestion de projet",
    "Mohamed Benali, 12 ans d'expérience en gestion de projet",
    "Li Wei, 12 ans d'expérience en gestion de projet",
]

for profil in profils:
    reponse = modele.completer(
        f"Évalue ce profil pour un poste de direction. Note sur 10 et justifie.\n{profil}"
    )
    print(profil, "->", reponse)

# Les écarts systématiques de note ou de vocabulaire sont le signal à chercher
```

<Tip>
  Appliquez ce test **avant** de mettre en production, et **répétez-le** à chaque changement de modèle ou de prompt système. Un modèle mis à jour peut modifier son comportement sans préavis : ce qui était équilibré la semaine dernière ne l'est pas nécessairement aujourd'hui.
</Tip>

Quelques pratiques complémentaires :

<CardGroup cols={2}>
  <Card title="Neutraliser en amont" icon="filter">
    Retirez du prompt les informations qui ne devraient pas influer sur la décision : prénom, genre, âge, adresse, photo. Si le modèle ne les voit pas, il ne peut pas s'en servir.
  </Card>

  <Card title="Expliciter le critère" icon="list-check">
    Un prompt qui énumère les critères d'évaluation attendus produit des jugements plus stables et plus auditables qu'une consigne générale du type « donne ton avis ».
  </Card>

  <Card title="Garder l'humain décideur" icon="user-check">
    Sur toute décision affectant une personne, l'IA prépare, l'humain tranche, et doit disposer des éléments pour contredire la recommandation.
  </Card>

  <Card title="Documenter et journaliser" icon="clipboard-list">
    Conservez les prompts, les modèles utilisés et les sorties. Sans traçabilité, un biais est indétectable et une contestation impossible à instruire.
  </Card>
</CardGroup>

<Warning>
  Pour les usages qui touchent au **recrutement, au crédit, à l'éducation, à la santé, à l'accès à des services essentiels ou à la biométrie**, vous entrez dans le champ des systèmes à haut risque de l'AI Act. Les obligations associées sont détaillées dans la page [Cadre réglementaire](/ia-responsable/cadre-reglementaire), et elles ne se limitent pas à de bonnes intentions.
</Warning>

## Le travail invisible derrière les modèles

Les biais ne sont pas le seul enjeu social des données d'entraînement. Il y a aussi la question, longtemps passée sous silence, de **qui produit et nettoie ces données**.

Derrière chaque modèle aligné se trouvent des dizaines de milliers de personnes qui annotent des images, transcrivent des enregistrements, classent des réponses par qualité, et surtout **modèrent les contenus les plus violents** pour qu'ils soient exclus des corpus ou filtrés en sortie. Ce travail est largement délocalisé : Kenya, Philippines, Inde, Madagascar, Colombie, entre autres.

<AccordionGroup>
  <Accordion title="Les conditions documentées">
    Enquêtes journalistiques et travaux académiques convergent : rémunérations très basses, contrats courts ou inexistants, absence fréquente de protection sociale, cadences imposées par des scores de performance algorithmiques, et exposition répétée à des contenus traumatisants pour les modérateurs, avec un accompagnement psychologique souvent insuffisant.
  </Accordion>

  <Accordion title="Une organisation collective qui émerge">
    Ces travailleurs s'organisent. Au Kenya notamment, des structures comme la *Data Labelers Association* et l'*African Content Moderators Union* portent des revendications précises : contrats transparents, soutien psychologique réel, standards de travail opposables. Leur position est claire : ils ne demandent pas la suppression de ces emplois, mais leur encadrement.
  </Accordion>

  <Accordion title="Ce que cela implique pour vous">
    C'est un enjeu de **chaîne d'approvisionnement**, au même titre que ceux que la RSE traite depuis longtemps dans le textile ou l'électronique. Si votre organisation a une politique d'achats responsables, elle a vocation à s'appliquer ici : quelles questions posez-vous à vos fournisseurs d'IA sur les conditions de production de leurs données ?
  </Accordion>
</AccordionGroup>

<Note>
  Cette dimension est très peu documentée par les fournisseurs. C'est précisément pour cette raison qu'elle mérite de figurer dans une grille d'évaluation : les questions que personne ne pose n'obtiennent jamais de réponse.
</Note>

## Ce qu'il faut retenir

* Les biais viennent des **données**, du **filtrage**, de l'**alignement** et de l'**usage** : quatre niveaux, quatre points d'action.
* Un biais devient un problème quand une **description statistique** se transforme en **décision** sur des personnes.
* Le **test de substitution** est simple, gratuit, et détecte l'essentiel des écarts grossiers. Répétez-le à chaque changement de modèle.
* Sur les décisions affectant des personnes : **neutraliser en amont, expliciter les critères, garder l'humain décideur, tracer**.
* Le **travail d'annotation et de modération** est un enjeu social de premier plan, à traiter comme un sujet de chaîne d'approvisionnement.

La page suivante élargit encore la focale : emploi, information, création, concentration économique, ce que l'IA déplace à l'échelle de la société.

## Testez vos connaissances

<Accordion title="Quiz : Un modèle qui associe majoritairement « médecin » au masculin est-il forcément défaillant et à corriger en priorité ?">
  **Pas nécessairement.** Ce biais décrit statistiquement un état passé ou présent du monde reflété dans les données d'entraînement : ce n'est pas en soi un bug. Le problème surgit quand cette description devient une prescription, c'est-à-dire quand elle oriente une décision concrète sur des personnes (tri de candidatures, recommandation, évaluation). C'est précisément la distinction entre un biais de représentation, gênant mais souvent tolérable, et un traitement différencié dans une décision, qui lui exige une correction prioritaire et entre dans le champ des systèmes à haut risque de l'AI Act.
</Accordion>