Nous sommes le 22 juillet 2026 et Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, publie sur X une accusation directe : Moonshot AI aurait distillé le modèle Fable 5 d’Anthropic pour produire son propre modèle Kimi K3.
Selon lui, l’entreprise chinoise aurait développé une plateforme interne sophistiquée pour mener une distillation à grande échelle contre des modèles américains, en changeant rapidement de méthode d’accès pour échapper à la détection.
Reste que le responsable américain ne condamne pas la pratique en bloc. Il distingue explicitement la distillation légitime, qu’il juge essentielle à l’écosystème de l’innovation ouverte, de la distillation industrielle massive et clandestine visant à voler de la technologie américaine.
Mais alors, où se situe exactement la ligne entre distillation acceptée et distillation volée ?
La distillation classique : une technique d’entraînement banale
Le concept de la distillation trouve son origine dans un article de 2006, sobrement intitulé «Model Compression » (« Compression de modèles »). Sans jamais employer le mot « distillation », trois chercheurs de l’université de Cornell y expliquent s’être appuyés sur un modèle d’ensemble ultra performant, rassemblant des centaines, voire des milliers de classificateurs de base, pour étiqueter un vaste jeu de données. Ils ont ensuite entraîné un unique réseau de neurones sur ces données fraîchement étiquetées, avec des techniques d’apprentissage supervisé classiques. Résultat : un modèle compact « 1 000 fois plus petit et 1 000 fois plus rapide » que l’ensemble d’origine.
Le terme « distillation » à proprement parler, ou knowledge distillation, n’apparaît qu’en 2015, popularisé par une équipe de chercheurs de Google. Le principe de fond reste toutefois le même qu’en 2006 : transférer les compétences d’un grand modèle déjà entraîné (le « professeur ») vers un modèle plus petit (l’« élève »), pour que ce dernier reproduise ses performances sans en avoir la taille ni le coût de calcul.
C’est ainsi qu’a été construit GPT-4o mini, par exemple. Le modèle professeur est GPT-4o, son propre grand frère chez OpenAI, le tout réalisé dans le cadre de leurs propres conditions d’utilisation, sans qu’aucun accès non autorisé à un modèle tiers ne soit nécessaire.
La distillation attack : la même mécanique, sans autorisation
Car c’est bien là que se fait la distinction. La distillation attack, aussi appelée model extraction attack ou model stealing, repose sur le même principe technique, mais dans un tout autre contexte : l’attaquant n’a ni l’autorisation ni un accès légitime au modèle visé.
Il se contente d’interroger son API publique, massivement, parfois plusieurs millions de fois, en collectant systématiquement les paires question/réponse pour entraîner son propre modèle dessus. L’objectif étant de créer une réplique quasi identique du modèle ciblé en se basant uniquement sur ses réponses, sans jamais accéder à ses paramètres internes.
L’efficacité de l’attaque tient souvent à l’exploitation des probabilités fines que renvoient certains modèles. Des scores qui contiennent bien plus d’informations sur la distribution interne du modèle qu’une simple réponse finale, ce qui accélère et affine l’apprentissage de l’élève.
Ce qui sépare donc l’attaque de la distillation classique, c’est avant tout le contexte d’accès. Une distillation attack contourne les limites d’usage d’un service commercial fermé, souvent en multipliant les comptes ou en changeant de clé API pour échapper à la détection : exactement ce que Kratsios reproche à Moonshot.
Cette affaire n’est d’ailleurs pas isolée. En février 2026, Anthropic, annonçait également avoir détecté des campagnes de distillation à l’échelle industrielle contre ses modèles, menées par plusieurs laboratoires chinois, impliquant au total plus de 24 000 comptes frauduleux et 16 millions d’échanges.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Le futur n’attend pas : anticipez l’avenir des nouvelles technologies et de l’IA en lisant gratuitement ToujoursPlus, chaque jeudi dans votre boîte mail !