IBM ne fera plus de reconnaissance faciale, car elle sert au profilage racial et à la surveillance de masse
« Nous pensons qu'il est temps d'entamer un débat national sur la question de savoir si et comment la technologie de reconnaissance faciale doit être utilisée par les forces de l'ordre ».
La décision du poids lourd des services informatiques survient dans des circonstances très difficiles aux États-Unis. Depuis deux semaines, le pays s'est embrasé sur la question des violences policières, en particulier à l'encontre de la population afro-américaine. La mort de George Floyd, dont la gorge a été écrasée par un policier pendant près de neuf minutes, a déclenché des manifestations d'ampleur et des émeutes.
C'est dans ce contexte qu'IBM s'est livré à un travail d'introspection sur cette technologie qui sert à de retrouver et à identifier des visages sur la voie publique, en croisant les images filmées avec une base de données ad hoc. C'est un dispositif par nature très intrusif, qui ne permet plus d'aller et venir de façon anonyme, puisqu'il peut scanner tout le monde, et en permanence, notamment via les caméras de surveillance.
Des outils qui reproduisent les biais humains
Or, il apparaît aussi que ces systèmes fonctionnent imparfaitement et peuvent conduire à des discriminations ou à des erreurs. C'est ce que pointait une étude conduite en 2018 par une équipe du Massachusetts Institute of Technology (MIT). En analysant trois systèmes de reconnaissance faciale, dont un construit par IBM, il a été constaté que l'analyse des sujets noirs était moins fine que celle des sujets blancs.
Les travaux sur ces dispositifs suggéraient alors un biais à l'entrée, avec des ensembles de données montrant surtout des personnes blanches. Du coup, les algorithmes étaient bien entraînés pour les repérer, mais un peu moins pour détecter des individus avec un couleur de peau différente. Dans le cas d'IBM, la différence de précision était de vingt points, ce qui est considérable. C'est également préoccupant si l'on a dans l'idée de déployer de manière opérationnelle un tel outil au sein de forces de l'ordre qui sont elles-mêmes traversées par des biais équivalents.
https://www.youtube.com/watch?v=TWWsW1w-BVo
C'est pour cela qu'IBM rétropédale. « IBM s'oppose fermement et ne tolérera pas l'usage de toute technologie, y compris la reconnaissance faciale vendue par des fournisseurs tiers, pour la surveillance de masse, le profilage racial, les violations des droits de l'homme et des libertés fondamentales, ou tout autre objectif qui ne serait pas conforme à nos valeurs », écrit son PDG, Arvind Krishna.
« Les fournisseurs et les utilisateurs des systèmes d'IA ont la responsabilité partagée de s'assurer que l'IA est vérifiée au niveau de ses biais, en particulier lorsqu'elle est utilisée par les forces de l'ordre, et que ces tests de biais sont audités et signalés », ajoute le patron du groupe, qui est en poste depuis quelques mois à peine. Et cela va même plus loin que la simple opposition à tout mésusage.
À The Verge, IBM précise que cette décision inclut aussi le développement et la recherche sur tout ce qui a trait à cette technique biométrique.
Des conséquences sérieuses dans le monde réel
Les enjeux de discrimination à travers les outils informatiques ne sont pas très récents.
Depuis quelques années, à l'aune du développement de certaines technologies clés, des interrogations émergent sur la façon dont certains systèmes reproduisent les travers du monde. Cela inclut les biais sexistes, mais cela peut être étendu à l'âge, au niveau social ou à tout autre critère permettant d'écarter un groupe de personnes. En 2019, une étude menée par une agence américaine avait constaté les mêmes loupés que l'étude du MIT.
Ces observations ne sont pas uniquement des problématiques de laboratoire. Elles ont des effets dans le mode réel, lorsque ces outils sont utilisés, en théorie pour l'aide à la décision.
En 2016 par exemple, une enquête montrait que des juges américains faisaient appel à un logiciel discriminant pour évaluer le risque de récidive ou de commission de crimes et délits d'un individu, lorsqu'il faut décider de le remettre en liberté. Deux ans plus tard, c'est le cas d'un outil utilisé par Amazon pour trier les CV qui a fait les gros titres, celui-ci ayant tendance à écarter les candidatures féminines.
Et ce genre d'outil arrive en France.
La décision d'IBM, si elle n'a pas manqué d'être remarquée et saluée, risque toutefois d'être un acte isolé, malgré les appels de la société civile, notamment en direction de Google, Amazon et Microsoft. La nature ayant horreur du vide, la place que le géant informatique laisse devrait d'ailleurs être occupée par un autre groupe, qui n'aura pas la même sensibilité sociale que lui. Amazon, par exemple, n'a aucune envie de renoncer à ce créneau, même si les mêmes biais ont été observés et mis en lumière avec des tests sur... les membres du congrès américain.
Quant à Clearview, il a même dans l'idée d'utiliser les caméras de sécurité pour suivre les déplacements et identifier les individus.