Le cas Twitter rappelle pourquoi il est si difficile de comprendre les choix d'un algorithme
En 2018, Twitter a déployé un algorithme pour optimiser l'affichage des millions d'images publiées chaque jour sur sa plateforme.
Depuis le 20 septembre 2020, des utilisateurs de la plateforme tournent dans tous les sens l'algorithme. Leur hypothèse : si une personne blanche et une personne noire se trouvent sur la même image, l'algorithme décidera une large majorité du temps de mettre en avant la personne blanche. Ce serait un biais discriminatoire important, et l'algorithme de Twitter serait loin d'être le premier à afficher ce défaut critique.
Pour explorer cette idée, des internautes plus ou moins spécialistes tâtonnent, testent, retournent dans tous les sens, émettent des théories sur le fonctionnement profond de l'algorithme... Seulement, il est hautement probable qu'ils n'obtiennent pas une réponse précise à leurs questionnements.
Ce n'est pas un algorithme de reconnaissance faciale
Les chercheurs improvisés s'essaient en fait à la rétro-ingénierie. Ils observent un bout de la chaîne -- la façon dont l'algorithme recadre la photo -- et espèrent en déduire ce qu'il se passe plus haut dans la chaîne -- les critères que l'algorithme utilise pour prendre sa décision. Cet exercice, rarement aisé, devient particulièrement complexe quand il s'agit d'un algorithme d'apprentissage machine (ou machine learning ).
Pour comprendre cette complexité, il faut se mettre du côté des développeurs. Ils ont conçu leur outil afin qu'il recadre l'image sur la partie qui attirerait supposément l'œil humain en premier. Le but de l'algorithme est, en quelques sortes, de prédire où l'utilisateur va regarder, ce qui correspondrait à la région la plus intéressante de l'image.
Leur objectif est donc de créer un algorithme capable de déterminer de façon autonome ce critère d'intérêt (la « saliency », en anglais) sur les millions d'images téléchargées chaque jour sur la plateforme. Des images extrêmement variées, composées de visages d'humains, mais aussi d'oiseaux, de graphiques, de lettres, ou encore de dessins abstraits... L'algorithme n'a donc pas comme finalité la reconnaissance faciale, comme l'a rappelé Zehan Wang, un des dirigeants techniques de Twitter.
De l'impossibilité de remonter la boîte noire
Pour entraîner cet algorithme, les développeurs utilisent des jeux de données créés par des chercheurs académiques. Ces derniers ont enregistré les mouvements d'yeux de plusieurs personnes face à différents types d'images. « En général, les personnes ont tendance à prêter plus attention aux visages, au texte, aux animaux et aux autres régions à haut contraste », écrivent les développeurs dans leur billet de blog de 2018.
À partir de ces données, il existe plusieurs façons d'entraîner l'algorithme, mais une même finalité : il faut qu'il crée ses propres critères pour évaluer la fameuse saliency. Et c'est là que l'histoire se complique : ces critères ne sont pas précisément connus par les développeurs. Ils connaissent la donnée qu'ils entrent dans l'algorithme (une image), et celle qui en sort (une image recadrée), mais pas ce qu'il se passe entre les deux. Ils peuvent donc simplement s'assurer que ce qui sort de l'algorithme correspond à leurs attentes. Zehan Wang explique d'ailleurs qu'ils auraient effectué un test de diversité en 2017 pour estimer si leur algorithme était discriminatoire, et qu'ils n'auraient à l'époque pas vu de contre-indication probante. Il mentionne aussi un autre test indépendant pour appuyer sa défense, mais celui-ci a été réalisé sur un petit nombre de données et il ne s'agit que d'une étude préliminaire.
C'est le problème d'un phénomène connu sous le nom de la « boîte noire » : l'utilisateur comme le développeur connaissent l'entrée et la sortie, mais ils ne savent pas tout ce qu'il se passe au milieu. Et c'est à cette boîte noire que se confrontent les rétros ingénieurs.
Dès lors, il est déjà compliqué de démontrer que l'algorithme est discriminatoire : il faudrait un très grand nombre de tests, dans différents contextes, pour confirmer la réalité de l'accusation. Ce test sera d'autant plus difficile à mettre en place qu'il ne s'agit pas d'un algorithme de reconnaissance faciale. Le chercheur Vinay Prabhu par exemple, a testé l'algorithme sur 92 images d'hommes noirs et d'hommes blancs, prises dans des conditions parfaitement similaires : plus de 50% du temps, l'algorithme de Twitter recadrerait sur l'homme noir plutôt que sur l'homme blanc. Un résultat loin de prouver que l'algorithme n'est pas discriminatoire, mais qui expose la complexité du problème.
Quand bien même un test permettrait de prouver que les résultats de l'algorithme sont biaisés, cela ouvrirait une autre question : pourquoi l'algorithme est-il biaisé ? Ne reproduit-il pas, au fond, simplement les biais de comportement des personnes étudiées, et dont les actions (où regardent-elles, quel détail regardent-elles ?) ont servi à le nourrir ?
Cerise sur ce gâteau de complexité : l'algorithme utilisé par Twitter a été allégé afin de pouvoir fonctionner plusieurs millions de fois par jour sans consommer trop de ressources informatiques, aux dépens de certaines précisions. Le mystère restera sûrement entier longtemps.