Les IA qui travaillent sur le langage héritent de nos préjugés racistes et sexistes
Un algorithme peut-il être raciste, sexiste et plus largement, discriminatoire ?
Voilà en tout cas ce qu'affirme le résultat d'un travail de recherche publié dans la revue scientifique généraliste Science, expliquant comment le machine learning est influencé par des biais humains, quand bien même ceux-ci nous sont tout à fait inconscients.
Associations d'idées
« Ici, nous montrons que l'application de l'apprentissage machine au langage humain ordinaire entraîne des biais sémantiques humains, résument les chercheurs Aylin Caliskan, Joanna Bryson et Arvind Narayanan. Nous avons reproduit un certain nombre de biais connus, mesurés par le Test d'association implicite, en utilisant un modèle d'apprentissage automatique, largement utilisé et purement statistique, formé sur un corpus de texte standard du World Wide Web. »
En effet, ce test, abrégé IAT, mobilise la psychologie sociale à travers une méthode communément employée pour observer les préjugés sexistes ou racistes d'une personne. Il consiste à étudier les associations d'idées, la plupart du temps inconscientes, qui se trouvent dans notre mémoire implicite.
Or, l'analyse des corpus de textes qui ont servi d'échantillon à l'étude amène les chercheurs à dresser le constat suivant : ils sont le reflet de nos propres préjugés, qu'ils soient neutres ou plus problématiques, notamment quand ils touchent à des questions d'apparence physique ou de genre.
Des biais sexistes et racistes
Ainsi, comme le souligne The Independent, les chercheurs ont observé que les IA étudiées tendaient à associer les noms masculins à des termes renvoyant à la carrière, tandis que les noms féminins se trouvaient majoritairement associés au champ lexical de la famille.
« L'idée générale selon laquelle les corpus de texte capturent la sémantique, y compris des des stéréotypes culturels et des associations empiriques, est connue depuis longtemps dans la linguistique des corpus », rappellent les chercheurs.
Néanmoins, leurs travaux apportent une nouvelle information en montrant que les intelligences artificielles sont toutes potentiellement capables d'apprendre automatiquement nos propres stéréotypes culturels.
De la même manière que l'expérience a mis en évidence des biais genrés, d'autres associations de nature discriminante ont été relevées par les chercheurs. Ainsi, les noms à consonance européenne ou américaine renvoyaient souvent à des termes élogieux, quand les noms afro-américains étaient associés à des termes bien plus désagréables.
Les chercheurs espèrent que ces conclusions amèneront les travaux autour de l'intelligence artificielle à prendre en considération la façon dont elle reproduit de tels stéréotypes.