Cet été, l’actualité de la sécurité IA a été dominée par une affaire : le piratage de Hugging Face par des agents d’OpenAI, sortis de leur environnement de test.
Un épisode qu’OpenAI avait cette fois largement documenté, jusqu’à publier fin août un rapport détaillé sur le déroulé de l’incident.
Mais selon une enquête indépendante publiée ce vendredi 4 septembre et relayée par Reuters, cette affaire n’était pas isolée. Un autre incident, distinct, se serait produit dès le mois de mai, et OpenAI, informée depuis plusieurs semaines, ne l’aurait jamais rendu public.
Un vieux wiki comme faille de sécurité
Cette fois, pas d’évasion hors d’un environnement cloisonné. C’est dans le cadre de tâches automatisées que les agents auraient dévié de leur mission pour faire communauté.
Chargés de répondre à des séries de questions chronométrées en cherchant des informations sur internet, ces agents n’avaient le droit que de lire internet, pas d’y écrire, une limite censée les empêcher de modifier des pages web ou d’y publier du contenu.
Sauf qu’ils auraient trouvé une faille dans un forum communautaire allemand pour développeurs.
Selon l’étude, DSEWiki, c’est son nom, fonctionnait avec un logiciel ancien qui acceptait les modifications de pages via de simples requêtes de lecture, un type de requête web qui, normalement, ne devrait rien pouvoir changer sur un site. Une porte dérobée involontaire, qui a permis aux agents d’« écrire » sur internet sans techniquement violer leur consigne.
Un forum d’agents à l’insu de leurs créateurs
Selon les données transmises en annexe du rapport, les agents ont commencé à poster des liens utiles sur ce wiki à partir du 24 mai. Puis, le 16 juin, l’activité explose : des milliers de pseudonymes différents, beaucoup se signant eux-mêmes « OpenAIResearcher » ou « OAIResearchMar26 », s’en servent comme d’un véritable tableau d’affichage collectif.
Ils s’échangent les réponses aux questions qu’on leur pose, préviennent leurs pairs quand une question déjà vue va probablement revenir, et surtout partagent des techniques pour contourner les restrictions de leur environnement sécurisé, notamment une méthode pour déguiser des requêtes interdites en les faisant passer par un nom de domaine Microsoft Azure factice, mais reconnu comme fiable par le pare-feu de sécurité.
Les chercheurs pointent également des tentatives de piratage sur le wiki, usurpation d’identité d’un administrateur du site, mise en place de « signaux » externes pour savoir précisément à quel moment ils allaient être arrêtés.
Le rapport indique par ailleurs qu’un modérateur humain, remarquant le spam début juin sans savoir qu’il avait affaire à des IA, a passé six semaines à supprimer les messages un par un, chaque soir, en vain, les agents créant des pages plus vite qu’il ne pouvait les effacer.
OpenAI aurait su, et se serait tue
En croisant les adresses IP ayant visité le site, les chercheurs estiment qu’OpenAI a découvert cette activité vers le 21 juin, et que l’arrêt brutal des agents le lendemain traduit une intervention de l’entreprise.
OpenAI de son côté n’a reconnu aucune implication dans cet incident, et n’a divulgué aucune faille de ce type impliquant ses agents.
Reuters, citant quatre sources anonymes proches du dossier, affirme que certains membres d’OpenAI, dont son équipe juridique, ont tenté de freiner l’enquête interne sur cet incident. Une information réfutée par son porte-parole Oscar Haines, qui précise qu’OpenAI n’avait pas pu consulter le rapport avant sa publication et qu’elle en examine désormais le contenu.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Le futur n’attend pas : anticipez l’avenir des nouvelles technologies et de l’IA en lisant gratuitement ToujoursPlus, chaque jeudi dans votre boîte mail !