Les modèles d’IA, leurs données et leurs biais

Après avoir rappelé le contexte historique de l’émergence de la science de l’IA et rappelé quelques concepts de base, nous allons regarder dans ce troisième article comment créer un modèle d’IA et nous intéresser à l’enjeu lié aux données.

Comment créer un modèle d’IA?

Créer un modèle d’IA consiste à sélectionner une succession de calculs et à les calibrer grâce à un autre algorithme et des données. Comme nous venons de voir, un modèle d’IA est constitué d’un très grand nombre de calculs, que nous devons voir comme des potentiomètres, qui peuvent être modifiés afin d’obtenir un résultat légèrement différent. Cette étape de calibration est appelée entraînement et est réalisé par un autre algorithme. Par conséquent, nous avons un algorithme A utilisant des données pour créer un algorithme B, qui est le modèle d’IA.

Nous allons donc voir quelques détails importants des quatre éléments nécessaires à la création d’un modèle d’IA : le choix d’une succession de calculs à laquelle l’IA fait référence par le terme “architecture”, des données, un algorithme d’entraînement et une phase de vérification des performances.

Architecture

Une architecture de modèle d’IA correspond à une suite spécifique de calculs, définis par des paramètres (qui correspondent aux potentiomètres de l’analogie utilisée ci-dessus). Il existe une très grande variété d’architectures, avec des architectures de référence et d’autres adaptées pour des tâches particulières. Ces architectures sont parfois inspirées de l’intelligence humaine et d’autres pas. Celles-ci ont été trouvées par l’expérience, en tâtonnant parfois. Dans les modèles d’IA proposés depuis les années 2010, les calculs impliquent un nombre vertigineux de paramètres, au-delà des millions voire des centaines de milliers de milliards.

Avant de réaliser l’entraînement, l’architecture est vierge, non entraînée pour réaliser la tâche qui nous intéresse. Pour le dire autrement, aucun de ses paramètres n’est fixé. Pour que le modèle réalise correctement sa tâche, chacun de ces paramètres doit être ajusté à la bonne valeur.

Données

Et pour cela, il nous faut des données, qui sont des exemples, ce que nous appelons une base de données d’apprentissage. Dans la majorité des cas^[1], il s’agit d’une base de paires d’informations : d’une part la donnée en entrée du système et d’autre part la donnée que nous souhaitons en sortie. Ces paires peuvent être simulées, mais sont généralement construites “à la main” à partir de données réelles, par des humains (photos, audios enregistrés par des humains…) et il y a même des entreprises spécialisées dans ce type de travail. Le nombre d’exemples nécessaires à apprendre une tâche varie selon la tâche.

Si nous reprenons l’analogie de la recette : pour établir la bonne recette en vue d’un plat précis, il faut les bons ingrédients. Ainsi, pour créer un modèle d’IA qui réalise correctement la tâche désirée, il faut les bonnes données. Le type de données dépend du type de tâche que nous voulons que le système résolve. Nous donnons ici trois exemples.

Pour créer un système d’IA qui localise des fractures sur des radio, les données incluent des données d’entrée et des données de sortie, qui sont associées une à une. Dans ce cas, une donnée d’entrée est une image radiologique et la donnée de sortie est une suite de coordonnées (sur l’image) qui permettent de localiser précisément les fractures identifiées sur une image. Ces coordonnées sont fournies par un expert médical.

Pour créer un système d’IA qui transcrit en texte un signal audio, les données d’entrées sont des fichiers audio et les données de sortie associées sont des fichiers textes qui contiennent mot pour mot ce qui est dit dans les fichiers audio. Cela permet au modèle d’apprendre à associer les sons aux mots écrits. Pour créer ces données, soit des humains transcrivent des fichiers audio donnés, soit des humains rédigent des textes et les font lire par des humains.

Pour créer un système d’IA comme ChatGPT, les données nécessaires sont des textes qui jouent le rôle de données d’entrée et de sortie simultanément^[2]. En général, sur les modèles de génération de textes, les modèles considèrent un texte jusqu’à un mot donné (donnée d’entrée) et prédisent le mot suivant (donnée de sortie).  Ce mécanisme est réitéré jusqu’à ce que le mot prédit soit un point final. Pour un générateur de texte, de très grandes quantités de données sont nécessaires et celles-ci proviennent de livres, d’articles de presse, de sites web et de dialogues.

Ainsi, un texte ou un livre apporte plusieurs exemples d’entraînement, là où, dans le cas d’un modèle qui localise des fractures sur des images, X images correspondent à X exemples d’entraînement.

Algorithme d’entraînement

Le troisième élément est un algorithme d’entraînement ou d’apprentissage. C’est la procédure par laquelle un modèle d’IA apprend à effectuer une tâche en s’améliorant à partir d’exemples. Celui-ci va modifier les paramètres du modèle d’IA, en utilisant les paires d’exemples, SI nous reprenons l’exemple de la recherche de fractures sur des images radiologiques, les paramètres du modèle vont être modifiés pour qu’il fournisse la bonne localisation pour chacune des images vues en apprentissage. Il existe différents types d’algorithme d’entraînement et le développement de ces algorithmes est un axe de recherche de l’IA.

Avant l’émergence de l’IA comme nous la connaissons aujourd’hui, de nombreuses tâches réalisées par les modèles d’IA, par exemple détecter des chats, localiser des objets sur des images ou reconnaître des sons, pouvaient être résolues par des méthodes différentes. Ces méthodes ne nécessitaient pas autant de données. Toutefois, et c’est là que réside sa force, la valeur ajoutée de l’IA est que son algorithme lui permet de créer le modèle. Gardons cependant en tête que c’est l’humain qui créé cet algorithme d’entraînement et c’est l’humain qui a créé la plupart des données utilisées pour l’entraînement.

Vérification des performances du modèle

Une fois le modèle entraîné, une phase d’évaluation du modèle est conduite pour s’assurer qu’il réalise la tâche avec un niveau de réussite suffisant. Il est important que cette évaluation se fasse sur des données que le modèle n’a jamais vues, un peu à la façon d’un apprenti ou d’un étudiant qui, lors d’un examen, reçoit un exercice qu’il ou elle n’a jamais réalisé auparavant. Car c’est ainsi qu’il est possible de vérifier que l’apprenti ou l’étudiant a compris la logique derrière la tâche demandée et qu’il ou elle n’a pas juste appris bêtement les réponses à des exercices déjà connus.

Cette phase nécessite un autre ensemble de données que le modèle n’a jamais vues. Le résultat du modèle pour chaque entrée est collecté et comparé à la sortie attendue. Des indicateurs peuvent être alors calculés (comme le pourcentage de bonnes réponses…) permettant de juger de la performance du modèle et de le comparer à d’autres sur la même tâche.

Cette phase est critique car, pour la majorité des applications, elle permet de déterminer si un modèle peut être rendu public ou commercialisé ou approuvé pour des usages spécifiques (médecine, armée, industrie…).

Les données, pierre angulaire des modèles d’IA…imparfaite

Dans les modèles d’IA qui nous intéressent ici, les données sont vitales : sans données, pas de modèles. Comme indiqué précédemment, l’humain n’injecte pas dans ces modèles une expertise ou une connaissance liée à une tâche. Ce sont les données qui conduisent l’entraînement des modèles et donc définissent la capacité d’un modèle à identifier des motifs/tendances ou des informations utiles dans les données et à réaliser correctement la tâche donnée. Un modèle d’IA n’est pas magique et n’a pas d’intelligence propre. Il ne pense pas, ne comprend pas et ne discerne pas comme un humain (du moins pour l’instant) : un modèle d’IA extrait des motifs pertinents et associe ces motifs à des sorties à l’aide des données. Ainsi, la qualité et la fiabilité des décisions prises par un modèle d’IA sont entièrement conditionnées par les données sur lesquelles il est entraîné. Une conséquence est qu’un modèle d’IA ne peut pas aller au-delà de ce qu’il a appris, ce qui le rend fondamentalement dépendant de l’information qu’il reçoit.

Le miroir déformant de nos propres biais

Cette dépendance est problématique dès que les données présentent des imperfections et des biais. Les données sont collectées par des humains et dans un contexte donné. Ces deux éléments introduisent involontairement des biais qui peuvent être situationnels, culturels, sociaux ou historiques. Un modèle d’IA entraînée sur des données biaisées ne fera que reproduire et amplifier ces biais, parfois de manière invisible ou insidieuse. C’est ainsi que des discriminations peuvent émerger dans des systèmes censés être neutres et objectifs. Nous vous proposons deux exemples.

Études de cas : quand les algorithmes discriminent

1. Le recrutement sexiste chez Amazon (2018)

En 2018, Amazon a dû abandonner un outil d’IA qu’il avait développé pour automatiser la sélection de CV^[3]. L’algorithme, entraîné sur des données historiques de recrutement, montrait un biais en faveur des candidats masculins. Étant donné que les données provenaient d’une industrie où les hommes étaient historiquement majoritaires, le modèle a appris à désavantager les femmes, rejetant même des CV contenant des termes comme « women’s » (par exemple, « women’s chess club »). Ce biais dans les données a conduit à des résultats discriminatoires.

2. Le biais racial dans le système de santé américain

Dans les hôpitaux aux Etats-Unis, un algorithme utilisé sur 200 millions de patients a aussi présenté un biais racial^[4]. L’algorithme attribue un niveau de risque aux patients pour identifier ceux qui nécessitent des soins supplémentaires. L’algorithme se base sur les dépenses de santé comme indicateur des besoins médicaux. Cependant, en moyenne, moins d’argent est dépensé pour les patients noirs ayant pourtant les mêmes besoins médicaux que les patients blancs. L’algorithme a donc déduit à tort que les patients noirs étaient en meilleure santé, ce qui a faussé les décisions de soins. Ce biais a réduit de moitié le nombre de patients noirs identifiés comme nécessitant des soins supplémentaires, aggravant ainsi les inégalités en santé.

L’impact psychologique : l’IA comme agent normatif

Une étude publiée en 2023^[5] examine l’influence des interactions entre humains et IA sur les processus perceptuels, émotionnels et sociaux. À travers une série d’expériences menées sur 1 401 participants, les chercheurs ont montré que les boucles de rétroaction entre humains et IA peuvent modifier la perception et le jugement des individus, renforçant ou atténuant certains biais cognitifs et influençant ainsi leurs décisions et comportements. Par exemple, dans une situation simulée où des participants devaient évaluer des candidats pour un poste de gestionnaire financier avec ou sans assistance d’une IA, ceux recevant une recommandation implicite de l’IA avaient tendance à ajuster leurs choix pour s’y conformer, même lorsque ces suggestions étaient biaisées. Ce phénomène met en évidence un point crucial : loin d’être de simples outils neutres, les IA peuvent agir comme des agents normatifs, façonnant les valeurs et comportements humains à travers des boucles de rétroaction.

Conclusion : vers une nécessaire lucidité

L’illusion de la vérité absolue

Ces trois exemples illustrent que les données ne portent pas de vérité absolue. Les données sont souvent incomplètes, fragmentaires ou imprécises. L’IA ne peut pas distinguer la vérité ultime de l’erreur et les modèles ne font qu’identifier des corrélations, entre les motifs des données d’entrée et les données de sorties. Cette incapacité à discerner ce qui est juste de ce qui est faux la rend vulnérable aux erreurs et aux manipulations. Un modèle bâti sur des fondations imparfaites restera imparfait. De plus, cette pierre angulaire instable est un reflet du monde humain, avec ses biais, ses lacunes et ses limites. Un remplacement total de notre discernement humain peut ainsi sembler néfaste pour nous et cette réalité nous invite à une posture de vigilance et d’humilité.

Les nouveaux défis éthiques

Plus généralement, au-delà de la confiance accordée aux données, des enjeux éthiques sont à considérer. Les données ne sont pas seulement imparfaites, elles sont aussi précieuses et sensibles. Leur collecte et leur utilisation posent des questions éthiques majeures : qui les contrôle ? Comment éviter leur exploitation abusive ? La protection des données personnelles est un enjeu fondamental dans un monde où l’IA est de plus en plus présente dans nos vies. Une pierre angulaire qui peut nous servir ou nous desservir.

---

^[1] Pour un souci de simplicité, nous considérons ici uniquement des entraînements dits supervisés et laissons de côté les entraînements non-supervisés (où nous ne disposons pas de données de sortie) ou semi-supervisés (qui sont un mélange d’entraînement supervisés et non-supervisés).

^[2] Dans le cas de modèles de génération de textes, il existe des approches complémentaires dont les données nécessaires à l’entraînement de ces modèles peuvent aussi inclure des retours d’humains, soit sous forme de classement des réponses apportées par les modèles, soit sous la forme de correction de réponses.

^[3] Jeffrey Dastin, « Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women, » Reuters, 10 octobre 2018, https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Dernier accès: 01/02/2025

^[4] Ziad Obermeyer et al., Dissecting racial bias in an algorithm used to manage the health of populations. Science 366,447-453(2019).DOI:10.1126/science.aax2342

^[5] Glickman, M., Sharot, T. How human–AI feedback loops alter human perceptual, emotional and social judgements. Nat Hum Behav (2024). https://doi.org/10.1038/s41562-024-02077-2