Afin d'aider les modérateurs confrontés à des contenus d'abus sexuel subis par des enfants, Google a mis à disposition de nouveaux outils. Fondés sur l'intelligence artificielle, ils doivent aider à hiérarchiser les contenus à évaluer.

Google a lancé une série d’outils mobilisant l’intelligence artificielle ce 3 septembre afin de lutter contre la pédocriminalité en ligne. Dans une publication de blog, l’ingénieur logiciel Nikola Torodovic et le chef de produit Abhi Chaudhuri présentent leur travail sur des algorithmes qui seraient capables de mieux identifier des contenus diffusés en ligne, faisant référence à des violences sexuelles subies par des enfants.

« En utilisant l’apprentissage de réseaux de neurones profonds pour le traitement d’images, nous pouvons aider les évaluateurs à trier de nombreuses images, en hiérarchisant les contenus CSAM [ndlr : child sexual abuse material, soit des contenus d’abus sexuel sur des enfants] qu’il faut le plus probablement analyser », expliquent les deux membres de Google.

Google // Source : Flickr/CC/Thomas Hawk (photo recadrée)

Comme le souligne The Verge, la majorité des outils servant actuellement à lutter contre la pédocriminalté en ligne utilisent une base d’images et de vidéos déjà identifiées comme des « CSAM », servant de comparaison aux images à vérifier. Ainsi, l’outil PhotoDNA de Microsoft procède au repérage de contenus illégaux en identifiant des fichiers images, vidéo ou audio sans qu’un évaluateur n’ait à les regarder. Leur « empreinte » est alors comparée à celles d’autres fichiers, préalablement identifiés comme contenant des contenus illégaux.

La limite de cette technique est de n’empêcher que la diffusion de fichiers semblables à d’autres déjà identifiés comme abusif. Pour le reste des fichiers, l’intervention humaine reste inévitable et oblige les évaluateurs à se confronter à des contenus violents. Une réalité très bien mise en avant dans un documentaire d’Arte intitulé Les Nettoyeurs du Web, qui montre le quotidien de ces « petites mains » confrontées chaque jour à des centaines d’images horribles.

Hiérarchiser le travail des modérateurs

Les nouveaux outils annoncés par Google doivent apporter une solution à cet écueil : leur but est d’aider les évacuateurs à classer les contenus signalés et de « hiérarchiser les contenus CSAM à examiner en priorité ».

L’entreprise assure que son initiative devrait faciliter l’évaluation des contenus de pédocriminalité, en faisant… gagner du temps aux modérateurs qui pourront analyser davantage de contenus. Google a estimé que 700 % de contenus illégaux avaient été évalués en plus avec l’aide de ses algorithmes, que pour un même temps donné sans recourir à cet outil.

Google précise que ses nouveaux outils sont désormais mis à la dispositions des organisations et ONG, via son interface de programmation Content Safety — un formulaire permet d’en faire la demande.

Partager sur les réseaux sociaux