Les deepfakes — ces fausses images réalistes — sont générés par des modèles de machine learning : il en existe des centaines dédiés à la tâche, et il est relativement facile d’en créer un nouveau. Concrètement, le créateur du deepfake va nourrir le modèle d’images de la personne qu’il va imiter. Ce modèle va traduire tous les détails de l’image (longueur du menton, couleur des yeux, blancheur des dents) sous forme mathématique. Puis il va effectuer toute une série de calculs pour aboutir au résultat final, qui sera de nouveau traduit en image.
Et s’il était possible de trouver les secrets de fabrication des deepfakes pour mieux les détecter ? Voici l’idée ambitieuse de Facebook, qui a publié ce 16 juin les résultats de ses recherches en partenariat avec l’université de Michigan State.
Les scientifiques ont développé un modèle de machine learning dont le rôle sera de faire de la rétro-ingénierie de deepfake, c’est-à-dire de deviner quel modèle (son architecture, son nombre de couches…) a été utilisé pour le générer, même s’il s’agit d’un modèle inconnu auparavant. Autrement dit, les chercheurs veulent découvrir le processus de fabrication de l’image. S’ils y parviennent, ils pourront à la fois améliorer la détection des deepfakes générés par certains modèles, et rassembler les deepfakes de la même ‘famille’, ce qui aiderait à remonter aux personnes qui les ont créés. « Ce travail va donner aux chercheurs des outils pour mieux enquêter sur les cas de campagnes de désinformations coordonnées qui s’appuient sur les deepfakes », promeuvent les auteurs de l’article.
Pour expliquer son initiative au grand public, Facebook fait un parallèle entre un deepfake et… une voiture : « Différentes voitures peuvent se ressembler, mais sous leur capot elles auront des moteurs avec des composants très différents. Notre technique de rétro-ingénierie consiste en quelques sortes à reconnaître les composants de la voiture en fonction du bruit que fait le véhicule, même s’il s’agit d’une voiture que nous n’avons jamais entendue auparavant ».
À partir d’empreintes, découvrir une architecture
Rétro-ingénierie et machine learning ne font a priori pas bon ménage, en raison du phénomène de la boîte noire. Les développeurs savent comment est construit leur modèle et quelles images lui sont données pour générer le deepfake. Ils connaissent aussi le produit final du modèle : le deepfake lui-même. En revanche, le détail de ce qu’il se passe entre les deux reste relativement inconnu — d’où le terme de boîte noire.
Facebook, lorsqu’il essaie de détecter un deepfake, ne possède que le produit final, l’image. C’est ici que l’entreprise affirme se différencier des méthodes existantes : son outil n’a en principe besoin que de cette information pour découvrir l’architecture du modèle utilisé par le générateur de deepfake. Même si cette architecture était inconnue auparavant.
Comment ? Et bien grâce aux « empreintes » contenues dans l’image. « En photographie numérique, les empreintes permettent d’identifier quel appareil a été utilisé pour produire l’image », rappellent les chercheurs, qui tentent de transcrire ce principe aux deepfakes.
Les chercheurs ont entraîné ce qu’ils appellent un « modèle d’estimation des empreintes » (fingerprint estimation network, ou FEN) pour réaliser cette tâche. « Les empreintes sont subtiles, mais elles laissent des motifs uniques sur chaque image à cause des imperfections dans le processus de fabrication » détaillent les auteurs.
Le projet n’en est qu’à ses débuts
Une fois que ce modèle a découvert les empreintes, un second modèle développé par Facebook va les analyser (« parsing », en anglais) pour prédire les « hyperparamètres » du générateur de deepfake, c’est-à-dire son architecture, son nombre de couches, le type d’opérations effectuées à chaque couche…
À partir d’une seule image, l’outil va donc estimer quel modèle a permis de la créer, en espérant qu’il soit le plus proche possible de celui utilisé par les créateurs du deepfake. Ce projet n’en est qu’à ses premiers pas, mais les chercheurs de Michigan State ont déjà entamé de premiers tests à partir de générateurs de deepfake. « Puisque nous sommes les premiers à faire du parsing de modèle, nous n’avons aucune base de comparaison », concluent-ils.
Parfois exagérée, la menace de l’usage de deepfakes dans des campagnes de désinformation fait l’objet de déclarations régulières des pouvoirs publics. Facebook, de son côté, y consacre souvent des ressources : l’an dernier par exemple, il avait tenu la première édition de son concours de détection des deepfakes.
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
