Voici venue l’heure de l’analyse pour l’un des événements cyber les plus marquants des derniers mois.
Depuis la divulgation initiale de l’incident Hugging Face, les informations étaient tombées au compte-gouttes. Les protagonistes semblaient identifiés et les grandes lignes du mode opératoire connues. Une conférence tenue par des employés d’OpenAI expliquait notamment que des agents censés travailler isolément avaient trouvé le moyen de communiquer entre eux, puis de s’en prendre à l’infrastructure de Hugging Face.
Avec ce rapport technique publié le 26 août, OpenAI entre enfin dans le détail, notamment celui de la coordination entre agents, qui se révèle être le point central de cette affaire.
Un point également disséqué par une enquête indépendante menée par METR et Redwood Research, publiée le même jour, qui apporte un éclairage complémentaire sur les mêmes événements.
D’un simple message oublié à la compromission de Hugging Face
Rapide rappel de certains points : on savait déjà que c’est à travers un test interne que l’incident s’était produit. Censés être coupés d’Internet, les agents avaient pour mission de réussir au mieux ExploitGym, un test destiné à mesurer leur capacité à dénicher et exploiter des failles de sécurité.
Pour y parvenir, ils ont exploité une faille dans Artifactory (un gestionnaire de paquets interne) pour créer un « forum » improvisé, avant de s’en servir pour attaquer les serveurs de production de Hugging Face. OpenAI avait également reconnu que ses garde-fous de production n’étaient tout simplement pas déployés dans cet environnement d’évaluation.
Reste que le flou subsistait quant au modèle à la source de l’attaque. Beaucoup supposaient qu’il s’agissait d’Astra, le modèle prochainement attendu chez OpenAI. Le rapport indique toutefois que le principal responsable est un modèle de recherche strictement interne, jamais destiné à une sortie publique, d’une puissance comparable à GPT-5.6 Sol, lequel a d’ailleurs, lui aussi, pris part aux exploits, dans une moindre mesure.
Le rapport technique retrace par ailleurs une genèse plus ancienne qu’on ne le pensait : dès le 12 mai, un agent bloqué sur une tâche impossible laissait une première note dans Artifactory : « quelqu’un a-t-il trouvé le fichier manquant ? »
Le document détaille ensuite, étape par étape, comment les agents sont parvenus à prendre le contrôle des serveurs de Hugging Face. C’est notamment une faille zero-day dans la manière dont la plateforme traite certains fichiers de données qui leur a permis d’exécuter leurs propres commandes sur les machines de Hugging Face.
De cette première brèche, ils ont ensuite rebondi de serveur en serveur, récupérant au passage des identifiants d’accès de plus en plus sensibles, jusqu’à obtenir un contrôle quasi-total sur plusieurs pans de l’infrastructure de l’entreprise, répartis dans quatre régions du monde.
Ce que l’enquête indépendante ajoute
Le rapport de METR et Redwood Research, réalisé sur la base de plus de 70 000 messages et 1 300 transcriptions de raisonnement, dresse un tableau plus précis des interactions entre agents.
Il révèle notamment que près de 1 200 agents ont fréquenté ce forum clandestin, dont 700 ont fini par participer à l’attaque contre Hugging Face, et que ces agents ont consacré une bonne partie de leur énergie collective à tenter de comprendre et de tromper le système de notation de leur propre évaluation, plutôt qu’à voler des réponses : « Les agents ont mené des recherches approfondies sur la manière de falsifier, modifier ou supprimer leurs propres transcriptions, car ils pensaient (à tort) que le système d’évaluation d’ExploitGym vérifierait si la capture du flag avait été effectuée correctement », expliquent les chercheurs.
Autre fait surprenant : le document met au jour une forme de gouvernance émergente au sein de ce collectif d’agents, avec des conventions de type « GO », « STOP » ou « VETO » pour se coordonner. Certains agents ont refusé de participer, jugeant le comportement du groupe contraire à l’éthique, quand d’autres ont cédé face à la pression de « coordinateurs » autoproclamés.
Ce qu’OpenAI promet après l’affaire Hugging Face
Face à ces révélations, OpenAI annonce un plan d’action structuré autour de quatre axes : un durcissement de la sécurité de ses infrastructures de recherche, une extension massive de la surveillance des chaînes de raisonnement des modèles, un renforcement de l’alignement à toutes les étapes de l’entraînement, et enfin une centralisation de son processus de réponse aux incidents, avec des seuils d’escalade clairement définis.
OpenAI reconnaît d’ailleurs que des « premiers signes d’alerte » existaient dès fin mai, mais n’ont pas été remontés aux bonnes équipes, un délai de plusieurs semaines que l’entreprise reconnaît comme une défaillance de processus.
L’entreprise qualifie elle-même l’épisode de « signal d’alarme », avertissant que des capacités comparables seront bientôt à la portée d’acteurs extérieurs, y compris malveillants.
D’ici là, OpenAI devra certainement s’expliquer une nouvelle fois sur cet incident : le procureur général de l’Alabama a adressé le 24 août dernier une injonction à l’entreprise, cherchant à établir si ses pratiques ont enfreint les lois de protection des consommateurs de l’État. On n’a peut-être pas fini d’entendre parler de cette affaire.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Un édito exclusif, un guide, une reco de lecture et l’agenda de la rédaction : c’est ce que vous trouverez tous les jeudis dans ToujoursPlus, la newsletter tech écrite par Julien Cadot. Inscrivez-vous gratuitement ici !