Facebook a une nouvelle méthode pour deviner quel outil a servi à créer un deepfake
Et s'il était possible de trouver les secrets de fabrication des deepfakes pour mieux les détecter ?
Les scientifiques ont développé un modèle de machine learning dont le rôle sera de faire de la rétro-ingénierie de deepfake, c'est-à-dire de deviner quel modèle (son architecture, son nombre de couches...) a été utilisé pour le générer, même s'il s'agit d'un modèle inconnu auparavant. Autrement dit, les chercheurs veulent découvrir le processus de fabrication de l'image. S'ils y parviennent, ils pourront à la fois améliorer la détection des deepfakes générés par certains modèles, et rassembler les deepfakes de la même 'famille', ce qui aiderait à remonter aux personnes qui les ont créés. « Ce travail va donner aux chercheurs des outils pour mieux enquêter sur les cas de campagnes de désinformations coordonnées qui s'appuient sur les deepfakes », promeuvent les auteurs de l'article.
Pour expliquer son initiative au grand public, Facebook fait un parallèle entre un deepfake et... une voiture : « Différentes voitures peuvent se ressembler, mais sous leur capot elles auront des moteurs avec des composants très différents. Notre technique de rétro-ingénierie consiste en quelques sortes à reconnaître les composants de la voiture en fonction du bruit que fait le véhicule, même s'il s'agit d'une voiture que nous n'avons jamais entendue auparavant ».
À partir d'empreintes, découvrir une architecture
Rétro-ingénierie et machine learning ne font a priori pas bon ménage, en raison du phénomène de la boîte noire. Les développeurs savent comment est construit leur modèle et quelles images lui sont données pour générer le deepfake. Ils connaissent aussi le produit final du modèle : le deepfake lui-même. En revanche, le détail de ce qu'il se passe entre les deux reste relativement inconnu -- d'où le terme de boîte noire.
Facebook, lorsqu'il essaie de détecter un deepfake, ne possède que le produit final, l'image. C'est ici que l'entreprise affirme se différencier des méthodes existantes : son outil n'a en principe besoin que de cette information pour découvrir l'architecture du modèle utilisé par le générateur de deepfake. Même si cette architecture était inconnue auparavant.
Comment ? Et bien grâce aux « empreintes » contenues dans l'image. « En photographie numérique, les empreintes permettent d'identifier quel appareil a été utilisé pour produire l'image », rappellent les chercheurs, qui tentent de transcrire ce principe aux deepfakes.
Les chercheurs ont entraîné ce qu'ils appellent un « modèle d'estimation des empreintes » (fingerprint estimation network, ou FEN) pour réaliser cette tâche. « Les empreintes sont subtiles, mais elles laissent des motifs uniques sur chaque image à cause des imperfections dans le processus de fabrication » détaillent les auteurs.
Le projet n'en est qu'à ses débuts
Une fois que ce modèle a découvert les empreintes, un second modèle développé par Facebook va les analyser (« parsing », en anglais) pour prédire les « hyperparamètres » du générateur de deepfake, c'est-à-dire son architecture, son nombre de couches, le type d'opérations effectuées à chaque couche...
À partir d'une seule image, l'outil va donc estimer quel modèle a permis de la créer, en espérant qu'il soit le plus proche possible de celui utilisé par les créateurs du deepfake. Ce projet n'en est qu'à ses premiers pas, mais les chercheurs de Michigan State ont déjà entamé de premiers tests à partir de générateurs de deepfake. « Puisque nous sommes les premiers à faire du parsing de modèle, nous n'avons aucune base de comparaison », concluent-ils.
Parfois exagérée, la menace de l'usage de deepfakes dans des campagnes de désinformation fait l'objet de déclarations régulières des pouvoirs publics. Facebook, de son côté, y consacre souvent des ressources : l'an dernier par exemple, il avait tenu la première édition de son concours de détection des deepfakes.