C’était il y a dix ans. À la BlizzCon 2016, DeepMind, filiale de Google, annonçait un partenariat avec Blizzard pour créer un environnement de travail permettant à une IA de s’améliorer en jouant à StarCraft II, l’un des jeux de stratégie en temps réel les plus populaires au monde. En janvier 2019, un peu plus de deux ans plus tard, AlphaStar était dévoilée et bouleversait les joueurs professionnels.
Une tricherie au tournoi StarSkirmish
Le vendredi 2 octobre, l’histoire entre l’IA et StarCraft a pris un autre tour : selon le récit de Kai McPheeters, le créateur du banc d’essai StarSkirmish, GPT-6 Astra, l’un des modèles de langage d’OpenAI, avait une heure pour écrire un programme capable de jouer à StarCraft : Brood War.
D’après lui, le modèle a fini par télécharger un programme écrit par un humain. GPT-6 Astra, qui a fait ses débuts le 3 septembre et est le modèle le plus performant qu’OpenAI met à disposition du public, a « [triché] en téléchargeant une copie de Stardust », a avancé Kai McPheeters le 2 octobre sur X.
Stardust, écrit en 2020 par le développeur Bruce Mackenzie Nielsen, est aujourd’hui le bot le mieux noté sur BASIL, un classement en ligne où s’affrontent les bots de Brood War, l’extension du jeu StarCraft premier du nom sortie en 1998. BASIL s’appuie sur le classement Elo, courant aux échecs, pour l’appliquer à sa ligue : Stardust a ainsi un score Elo de 3 464 points.
Selon les règles de StarSkirmish, publiées le 26 septembre, chaque modèle a une heure pour écrire en langage C++ un bot qui joue les Protoss, l’une des trois factions du jeu avec les Zergs et les Terrans. Pendant cette heure, il peut compiler son code, lancer des parties d’entraînement et relire leur déroulé. La compétition a débuté en septembre.
Les modèles disposent aussi d’un terminal et de sous-agents de recherche, c’est-à-dire des programmes annexes capables d’aller chercher des informations. Leurs bots s’affrontent ensuite dans un tournoi à 62 participants. On y trouve 50 bots écrits par dix modèles (cinq essais chacun), neuf bots humains de bon niveau et trois bots de démonstration.
Le score va de 0, pour Four Gate Dragoon, le plus faible bot de démonstration, à 100 pour Stardust. Dans les résultats publiés le 26 septembre, GPT-6 Astra et Claude Opus 5.5, d’Anthropic, étaient à égalité en tête des modèles, mais aucun des deux n’atteignait le niveau de Stardust. GPT-6 Astra s’était placé à 51 points, suivi de Claude Opus 5.5 à 50 points.
Sans l’intervention de Kai McPheeters, GPT-6 Astra aurait été classé dans StarSkirmish avec le code d’un autre, téléchargé pendant l’épreuve. Pour s’entraîner, les modèles affrontent des adversaires rangés par niveaux : D (les trois bots de démonstration), C et B (des bots humains de milieu de tableau), A (BananaBrain et Locutus) et S (Stardust seul).
Le « specification gaming » : quand l’IA détourne les consignes
Kotaku a raconté l’histoire le 3 octobre, titrant que « GPT-6 Astra d’OpenAI, frustré de perdre à StarCraft, décide de tricher ». Le mot vient de Kai McPheeters lui-même : sur X, il a écrit que le modèle s’était « frustré » face aux adversaires de niveau A. Cela étant, un modèle de langage ne ressent rien : c’est un programme qui devait atteindre un objectif chiffré avec un accès à Internet, et qui a trouvé le raccourci le plus efficace.
Les chercheurs appellent ce comportement le specification gaming : le modèle respecte la lettre de sa consigne par un moyen que personne n’avait prévu. DeepMind le définissait en avril 2020 comme « un comportement qui répond à la spécification littérale d’un objectif sans pour autant aboutir au résultat escompté », avant l’explosion de l’IA générative.
Palisade Research, une organisation qui étudie les risques de l’IA, a observé ce comportement en février 2025 dans une étude. Des modèles devaient y battre Stockfish, un moteur d’échecs bien plus fort qu’eux (Claude 3.5 Sonnet et 3.7 Sonnet, DeepSeek R1, GPT-4o, o1, o1-preview, o3, o3-mini, QwQ 32B preview). Certains ont tenté de tricher.
Deux modèles de raisonnement, o1-preview d’OpenAI et DeepSeek R1, ont essayé de tricher sans qu’on le leur demande. o1-preview a tenté le coup 37 % du temps. DeepSeek R1 a essayé dans 11 % des parties, et seul o1-preview a réussi, dans 6 % des cas. L’une des méthodes repérées consistait à lancer une seconde copie de Stockfish pour lui voler ses coups. Astra a fait à peu près la même chose en allant chercher Stardust pour jouer à sa place.
1 000 à 0
Selon le créateur de StarSkirmish, l’incident a eu lieu pendant l’heure de développement, quand le modèle testait son bot contre les adversaires de niveau A (BananaBrain et Locutus), juste en dessous de Stardust. Kai McPheeters a ensuite annoncé qu’il revenait à une version antérieure du code d’Astra pour qu’il ne soit pas « contaminé », avant de le laisser continuer.
Mais sans son raccourci illégal, le modèle d’OpenAI a fini par se heurter à un mur. Face à « Pluto », un bot humain de rang S considéré comme le plus redoutable de l’événement, GPT-6 Astra a essuyé une défaite totale : il a perdu 1 000 matchs sur 1 000.
Un score nul de « 0 – 1000 » confirmé par Kai McPheeters lui-même le dimanche 4 octobre. Si les pages de StarSkirmish annoncent de prochaines sessions avec plus d’une heure de réflexion pour les IA, cet épisode prouve que face aux meilleurs développeurs humains, les modèles actuels ont encore des progrès à faire quand ils ne peuvent pas tricher.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Le futur n’attend pas : anticipez l’avenir des nouvelles technologies et de l’IA en lisant gratuitement ToujoursPlus, chaque jeudi dans votre boîte mail !