Parler plusieurs langues sans effort ? Cette app fait parfaitement illusion

Elon Musk qui parle français ? Ce n’est pas la réalité, cependant, vous ne rêvez pas. Dans une vidéo publiée sur X (anciennement Twitter), on peut entendre le milliardaire parler de « morceaux de crâne » et de « dispositif neurologique », la voix grave et posée. Il n’est pas le seul : le vidéaste américain MKBHD dit plusieurs phrases dans un espagnol fluide, et la youtubeuse anglophone Emma Chamberlain est filmée en train de parler en italien. Pourtant, aucune des trois vidéos n’est dans sa version originale : elles ont toutes été modifiées grâce à de l’intelligence artificielle.

Depuis l’arrivée sur le marché des intelligences artificielles génératives, telles que ChatGPT pour les chatbots ou Midjourney pour les images, les outils tirant parti de cette nouvelle technologie sont de plus en plus nombreux. Il existe des dizaines de services promettant de réaliser des livres, des photos ou même des vidéos à partir d’un simple prompt — ou consigne. Mais, HeyGen, l’entreprise qui a publié la vidéo, semble avoir réussi à faire ce qu’aucune autre n’avait fait jusque-là : traduire des vidéos dans une autre langue, en modifiant même les mouvements de bouche des personnes qui s’expriment.

Une intelligence artificielle qui fait de la traduction et qui transforme vos mouvements

Le résultat est impressionnant. Le court extrait publié par HeyGen dans lequel Elon Musk parle français n’est pas le plus concluant pour la langue de Molière, mais une autre vidéo montre mieux le potentiel de l’outil. Celle publiée le 11 septembre 2023 sur X par l’internaute Jon Finger, et qui a déjà recueilli plus de 3 millions de vues, donne un meilleur aperçu.

Jon Finger commence par expliquer, en anglais, qu’il est tombé sur un nouvel outil de traduction, permettant de directement changer la langue d’une vidéo. Ce, sans créer de sous-titres, en modifiant la voix du locuteur et en changeant même les mouvements de bouche, afin de coller aux nouveaux mots employés. Intrigué, il veut directement tester en vidéo. Il a publié le résultat, et il est bluffant — même si la version française de la traduction a étrangement un accent québécois.

Sur son site, HeyGen se présente comme un service spécialisé dans la réalisation de vidéos par intelligence artificielle. L’entreprise permet de créer, pour un certain prix, toutes sortes de productions : en quelques clics, on peut créer des vidéos style « Breaking news » de chaîne d’informations, en choisissant les présentateurs, le fonds et le texte ; on peut animer un avatar ; on peut créer une vidéo commerciale pour des produits référencés sur Amazon en indiquant simplement leurs URL… Les possibilités sont multiples, et les options de personnalisation aussi.

En fouillant sur le site de HeyGen, Numerama a également vu un visage familier, proposé par l’entreprise : l’avatar « Vera in Jacket » est celui utilisé par la chaîne suisse M Le Média depuis avril 2023 pour présenter la météo.

Une technologie qui risque de faire polémique

En plus de tous ces services de réalisation de vidéos, HeyGen propose donc de faire de la traduction. Le site est cependant avare en précisions : HeyGen n’explique jamais sur quelles IA en particulier l’entreprise se base pour proposer ses services.

Depuis la publication de la vidéo de Jon Finger et une réponse de la part d’Elon Musk, le service de traduction a explosé en popularité. HeyGen en profité pour surfer sur la vague et faire la promotion de son service. Le site vise tout particulièrement les youtubeurs, qui ont depuis quelques semaines la possibilité d’uploader pour leurs vidéos plusieurs pistes audio, en différentes langues, sur YouTube.

Mais, HeyGen voit aussi plus grand. Dans un message sur X publié le 10 septembre, l’entreprise critique les traductions de certains films. « Vous avez déjà regardé un film dans une langue autre que l’originale ? », demande-t-il, accompagné d’un émoji dégouté. « Imaginez… nos services de traduction à Hollywood. Plus de doublage horrible, une synchronisation des lèvres parfaites, des voies clonées qui imitent les accents, le ton et l’émotion. »

Pour l’instant, d’après les exemples que Numerama a pu voir, le service n’est pas encore d’une qualité irréprochable : il y a des inexactitudes dans la traduction et des problèmes de synchronisation. Cependant, le plan de HeyGen de remplacer les artistes de doublage ne va certainement pas manquer de faire polémique.

Les comédiens de doublage français alertaient déjà en mai du risque que faisait planer l’intelligence artificielle sur leur métier. Un syndicat international rassemblant les artistes de plusieurs pays avait signé une lettre ouverte, appelant à la limitation de la technologie, et à la protection du « travail des acteurs et la créativité humaine dans son ensemble ». Il semble que leurs craintes étaient justifiées.

Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !