Les intelligences artificielles ne semblent pas plus immunisées que nous contre les préjugés. Des chercheurs en informatique ont constaté qu’en les faisant travailler sur notre langage, elles reproduisaient des stéréotypes sexistes et racistes.

Un algorithme peut-il être raciste, sexiste et plus largement, discriminatoire ? La réponse ne va pas flatter notre ego d’être humains : en effet, les intelligences artificielles pourraient tout à fait adopter des préjugés dans leurs conduites, et nous en serions la cause directe.

Voilà en tout cas ce qu’affirme le résultat d’un travail de recherche publié dans la revue scientifique généraliste Science, expliquant comment le machine learning est influencé par des biais humains, quand bien même ceux-ci nous sont tout à fait inconscients.

Associations d’idées

« Ici, nous montrons que l’application de l’apprentissage machine au langage humain ordinaire entraîne des biais sémantiques humains, résument les chercheurs Aylin Caliskan, Joanna Bryson et Arvind Narayanan. Nous avons reproduit un certain nombre de biais connus, mesurés par le Test d’association implicite, en utilisant un modèle d’apprentissage automatique, largement utilisé et purement statistique, formé sur un corpus de texte standard du World Wide Web. »

L’application de l’apprentissage automatique au langage humain entraîne des biais sémantiques

En effet, ce test, abrégé IAT, mobilise la psychologie sociale à travers une méthode communément employée pour observer les préjugés sexistes ou racistes d’une personne. Il consiste à étudier les associations d’idées, la plupart du temps inconscientes, qui se trouvent dans notre mémoire implicite.

CC Nick Youngson

CC Nick Youngson

Or, l’analyse des corpus de textes qui ont servi d’échantillon à l’étude amène les chercheurs à dresser le constat suivant : ils sont le reflet de nos propres préjugés, qu’ils soient neutres ou plus problématiques, notamment quand ils touchent à des questions d’apparence physique ou de genre.

Des biais sexistes et racistes

Ainsi, comme le souligne The Independent, les chercheurs ont observé que les IA étudiées tendaient à associer les noms masculins à des termes renvoyant à la carrière, tandis que les noms féminins se trouvaient majoritairement associés au champ lexical de la famille.

« L’idée générale selon laquelle les corpus de texte capturent la sémantique, y compris des des stéréotypes culturels et des associations empiriques, est connue depuis longtemps dans la linguistique des corpus », rappellent les chercheurs.

La linguistique connait depuis longtemps la façon dont le langage capture les stéréotypes culturels

Néanmoins, leurs travaux apportent une nouvelle information en montrant que les intelligences artificielles sont toutes potentiellement capables d’apprendre automatiquement nos propres stéréotypes culturels.

De la même manière que l’expérience a mis en évidence des biais genrés, d’autres associations de nature discriminante ont été relevées par les chercheurs. Ainsi, les noms à consonance européenne ou américaine renvoyaient souvent à des termes élogieux, quand les noms afro-américains étaient associés à des termes bien plus désagréables.

Les chercheurs espèrent que ces conclusions amèneront les travaux autour de l’intelligence artificielle à prendre en considération la façon dont elle reproduit de tels stéréotypes.


Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !