Dans un nouveau communiqué, Facebook explique pourquoi la vidéo de l’attentat de Christchurch n’a été supprimée qu’après quelques dizaines de minutes. C’est la conséquence d’une modération à plusieurs vitesses.

Une vidéo dans laquelle une personne se donne la mort ou tente de se suicider est bannie plus rapidement de Facebook qu’une vidéo d’attentat. C’est ce qu’a admis le réseau social dans un communiqué mis en ligne mercredi 20 mars.

La vidéo signalée après 29 minutes

Le communiqué fait suite à l’attaque terroriste islamophobe de Christchurch lors de laquelle 50 personnes ont été tuées. L’assaillant a filmé l’attentat et en a diffusé les images en direct sur Facebook.

L'une des mosquées visées.  // Source : Google Maps

L'une des mosquées visées.

Source : Google Maps

Dans un premier communiqué daté du 18 mars, Facebook explique que la vidéo a été vue environ 200 fois en direct, sans que personne ne la signale. Ce n’est que 12 minutes après la fin du direct (soit 29 minutes après son début) que la vidéo a été signalée. Elle avait alors été vue plus de 4 000 fois. Facebook dit avoir supprimé le contenu quelques minutes après le premier signalement.

La vidéo de l’attaque a été copiée puis rediffusée, principalement sur Facebook, YouTube, Twitter et 8chan, qui a depuis été bloqué par des fournisseurs d’accès à internet en Australie et Nouvelle-Zélande. À lui seul, Facebook affirme avoir supprimé 1,2 million de vidéos en 24 heures.

L’IA n’était pas préparée à une telle attaque

Facebook a mis en place un système de modération automatisée et humaine à plusieurs vitesses. Certains types de contenus bénéficient d’une attention toute particulière : c’est le cas pour les actes suicidaires ou violents, dans lesquels une personne serait blessée ou tuée.

Un système d’intelligence artificielle a été entraîné pour détecter et prioriser ces vidéos en les envoyant rapidement à des modérateurs humains. Ce système, rappelle Facebook, « n’est pas parfait ». Il n’a pas détecté la vidéo de l’attentat de Christchurch, simplement parce qu’il a été entraîné avec des images de propagande terroriste, de nudité ou de violence graphique qui lui ont semblé différents.

Facebook explique qu’il est possible d’entraîner l’IA à identifier plus de types différents d’images violentes. Seulement, selon le réseau social, cela serait contre-productif. Les algorithmes pourraient par exemple identifier une partie de jeux vidéo en streaming comme étant un attentat. Si cela arrive trop fréquemment, les équipes de modération humaines risquent de voir les images vraiment problématiques noyées sous un lot de faux-positifs.

Un procédé accéléré qui ne concerne pas les attentats

Outre l’IA, il existe une autre méthode pour faire remonter un contenu dangereux aux modérations : les signalements des utilisateurs. Comme expliqué ci-dessus, personne n’a signalé la vidéo pendant sa diffusion. Or Facebook explique que les vidéos en direct signalées sont étudiées bien plus vite que les vidéos qui ne sont pas en direct. Ceci est lié au fait que les modérateurs peuvent dans certains cas faire appel aux secours à temps, lorsque la situation l’exige.

Ce procédé en accéléré s’applique également pour les vidéos autour du suicide quelques heures après leur publication en direct. Il s’agit de la seule exception faite par le réseau social pour le moment. La vidéo de Christchurch n’a elle pas été signalée comme étant un contenu suicidaire. Par conséquent, elle n’a pas été évaluée en priorité.

Un ré-examen des procédures de modération est en cours

Facebook dit avoir retenu la leçon. Un ré-examen des procédures est en cours depuis l’attentat afin d’élargir les catégories de contenus nécessitant une action très rapide.

Facebook a doublé en l’espace d’un an le nombre de personnes travaillant à la modération pour l’entreprise. On compte aujourd’hui plus de 15 000 employés et sous-traitants (dont les conditions de travail seraient très difficiles à en croire une récente enquête de The Verge).

L’entreprise n’est pas le seul réseau social à avoir mis du temps à se débarrasser de la vidéo de Christchurch. YouTube et Twitter ont également du faire face à une quantité « sans précédent » de re-publications de la vidéo. Les algorithmes n’ont pas su réagir assez vite face à la situation d’urgence, comme on vous l’expliquait le 19 mars.


Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.