Un programme développé par une équipe de chercheurs a permis de décrypter un texte à partir des sons de frappe sur le clavier. La sonorité de chaque lettre d’un MacBook est enregistrée avant d’être analysée par cette intelligence artificielle.

Une étude publiée par plusieurs chercheurs britanniques le 3 août 2023, relevée par le média américain Bleeping Computer, relate les tentatives d’une IA pour reconnaitre un texte à partir du bruit du clavier. Résultat, le programme développé par les experts est parvenu à récupérer des données dans 95 % des cas avec le microphone d’un appareil électronique (ordinateur ou smartphone). Lorsque les chercheurs ont utilisé l’application de vidéoconférence Zoom, l’algorithme a été capable de relever 93 % des sons ; pour Skype, c’était 91,7 %.

L’équipe d’experts a commencé par enregistrer le son produit par chaque lettre que l’on tape sur le clavier d’un ordinateur MacBook Pro datant de 2021. Ce clavier est standard depuis au moins deux ans et devrait l’être encore pour quelques années. Rappelons qu’Apple met en avant l’aspect silencieux de ses appareils. D’autres modèles sont encore plus bruyants. Les ondes émises ont ensuite été enregistrées sur un programme baptisé « CoAtNet », basé sur le deep learning et fonctionnant grâce à l’intelligence artificielle. Un iPhone 13 a ensuite été placé à 17 cm de l’ordinateur.

Le MacBook Pro et l'iPhone 13 mini utilisés pour le test.  // Source : arxiv.org
Le MacBook Pro et l’iPhone 13 mini utilisés pour le test. // Source : arxiv.org

La touche shift mal analysée

L’enregistrement du « pianotage » de l’ordinateur par le smartphone est analysé par le programme, qui permet de retranscrire ensuite chaque lettre saisie. Le même test a ensuite été réalisé à partir du microphone du MacBook lors d’une réunion en ligne sur Zoom. Cela suppose que la cible laisse son propre microphone ouvert lors de la discussion. Dans les deux cas, le programme parvenait à décrypter les saisies avec un haut niveau de précision.

Les chercheurs notent que la réussite de ce test tient aussi au cadre optimal dans lequel il a été réalisé. Plusieurs « astuces » empêchent de correctement décrypter le texte. Le programme a, par exemple, du mal à comprendre le relâchement de la touche shift pour noter les capitales ou des chiffres. L’utilisation d’une reconnaissance biométrique avec l’empreinte digitale est également indétectable.

Deux méthodes qui – au-delà de vous protéger d’un super logiciel que vous ne rencontrerez probablement jamais au quotidien – peuvent vous servir au quotidien : multiplier les caractères et ajouter une double authentification.

Nouveauté : Découvrez

La meilleure expérience de Numerama, sans publicité,
+ riche, + zen, + exclusive.

Découvrez Numerama+

Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !