Le puissant modèle d’intelligence artificielle GPT-3 peut-il pourrir le web ?
« Vous vous sentez improductifs ?
Son créateur, un étudiant de Berkeley nommé Liam Porr, a dévoilé la supercherie le 3 août, puis s'est confié au MIT Technology Review. Il a utilisé GPT-3, la dernière version d'un célèbre modèle d'intelligence artificielle, pour générer une dizaine d'articles en deux semaines.
Cet algorithme, développé par OpenAI, est capable d'« écrire » un article plus ou moins cohérent à partir d'un titre et de quelques phrases d'introduction fournies par un humain. GPT-3 est sorti de laboratoire le 11 juillet 2020, mais ses créateurs restreignent encore son accès à une poignée de chercheurs qu'ils sélectionnent eux-mêmes.
Cependant, l'entreprise ne cache pas ses envies d'un jour commercialiser un jour sa technologie, peut-être même dès la fin de l'année d'après le MIT Technology Review. Et Liam Porr, qui a lui-même dû profiter de l'accès d'un autre étudiant, s'en inquiète dans un billet publié sur son propre blog : « Dès que cette chose va entrer dans l'espace public, je pense qu'il va inaugurer une nouvelle ère de chaos sur Internet ». Pour lui, GPT-3 ouvre la porte à des fermes à contenus sans intérêt, avec pour seul objectif d'attirer du trafic. « Il est possible qu'il y ait un flot de contenus de blogs médiocre à cause de cet abaissement de la barrière à l'entrée. Je pense que la valeur des contenus en ligne va être largement réduite ». Des outils d'automatisation de l'écriture existent depuis plusieurs années, mais GPT-3 pourrait faire passer ce procédé dans une tout autre dimension : celle du spam généralisé.
Quelques heures pour mettre en place le blog d'articles GPT-3
L'étudiant explique au MIT Technology Review qu'il ne lui a fallu que « quelques heures » pour mettre son blog en place, une fois qu'il a obtenu l'accès à GPT-3. Il avait déjà sa stratégie en tête, et n'a eu qu'à écrire un petit script, peu complexe, pour la déployer.
Si GPT-3 excelle sur la forme -- il peut imiter un certain style d'écriture --, il a plus de problèmes à développer un fond intéressant. Il peine à établir certains liens logiques, ou à garder un propos rationnel. Et pour cause : l'algorithme reproduit des liens logiques mathématiques qu'il a observé sur les textes qui lui ont été donnés pour son entraînement. Seulement, la logique linguistique diffère le plus souvent de la logique statistique, ce qui mène le modèle dans des incompréhensions.
À partir de ce constat, Liam Porr a choisi de faire écrire à l'algorithme des articles dans deux catégories populaires, où ses forces surmonteraient ses faiblesses : le « développement personnel » et la « productivité ».
L'étudiant n'avait plus qu'à regarder les articles les plus lus de ces catégories, et s'en inspirer pour écrire le titre et l'introduction des siens, avant que GPT ne les complète. Il a ainsi publié 14 articles en deux semaines sur un blog créé en quelques clics. Les titres ne brillent pas par leur originalité : « le tiraillement des personnes ambitieuses » ; « Le lien entre l'exercice physique et la productivité » ou encore « Ce que j'ai appris en étant trop productif ». Mais ils ont suffi à attirer plus de 20 000 visiteurs.
Des humains ont tiré l'article de GPT-3 en tête de Hacker News
Cet étrange succès interpelle d'autant plus que le blog écrit par l'IA a profité d'avis humains pour se hisser en tête Hacker News. Autrement dit, des humains ont apprécié lire un article d'une IA sur la productivité, sans savoir que l'autrice était une IA.
Affilié au Y-Combinator, l'incubateur de startup phare de la côte Californienne, Hacker News agrège des articles sur l'actualité des technologies, des startups et de « tout ce qui pourrait satisfaire la curiosité intellectuelle » des lecteurs.
Le fonctionnement de Hacker News est relativement simple : les utilisateurs peuvent soumettre des articles, ainsi que voter pour les sujets qu'ils jugent intéressants. Ensuite, l'agrégateur établit un fil d'information à partir d'un calcul dont les deux principales variables sont le nombre de votes et la date de parution. Dans le cas de l'article généré par GPT-3, suffisamment d'utilisateurs -- des humains -- ont jugé pertinent pour qu'il se hisse tout en haut de l'agrégateur.
Pourtant, il est loin d'être sans défaut, de l'avis même de son créateur : « Si vous lisez le contenu que j'ai créé, vous ne serez sûrement pas convaincu par sa qualité. En effet, il est parfois illogique, a des difficultés à rester sur le sujet, fait des erreurs de répétitions... ». Liam Porr explique n'avoir fait que très peu de modifications après l'écriture de GPT-3, et qu'il aurait pu rendre ses articles bien plus convaincants : « Il suffit de couper les phrases sans rapport, écrire une conclusion, et boom -- les lecteurs n'ont aucune chance de voir la différence. »
L'étudiant relève tout de même qu'un lecteur -- parmi des milliers, donc -- l'a contacté pour lui demander si son article était généré par une IA. Dans la section commentaire de Hacker News, certains se doutaient de la supercherie, mais leurs messages ont reçu tellement de votes négatifs de la part des autres utilisateurs qu'ils ont glissé en bas de la page.
GPT-3, catastrophe annoncée remise à plus tard
GPT-3 est la troisième version d'un modèle d'intelligence artificielle de OpenAI, une startup fondée par de grands noms de la Sillicon Valley (dont Elon Musk et Peter Thiel). Lancée en 2015 avec une équipe de chercheurs triés sur le volet, elle visait l'idéal de l'intelligence artificielle générale. Il s'agit d'une intelligence artificielle (dont il n'y a pas de preuve qu'elle soit réalisable) capable de reproduire le fonctionnement d'un cerveau, et même de le dépasser pour résoudre des problèmes contemporains. OpenAI s'est lancée avec la volonté de maintenir une recherche ouverte, et sans véritable modèle économique.
En février 2019, l'entreprise avait lancé un grand débat en expliquant qu'elle ne publierait pas la version précédente du modèle, GPT-2, par peur des utilisations abusives qui pourraient en découler. Accusé d'en faire trop sur un modèle aux limites évidentes, Open AI a progressivement rétropédalé, jusqu'à publier l'intégralité de son modèle en novembre. Il constatait alors « l'absence de preuve forte d'utilisation abusive ».
Mais la troisième version de GPT, encore plus puissante avec encore plus de paramètres, a relancé les inquiétudes qui portaient sur la version précédente. C'est pourquoi OpenAI n'en propose aujourd'hui qu'un usage restreint, sorte de bêta destinée à affiner le produit avant une éventuelle commercialisation en fin d'année.
Pourtant, outre l'hypothèse du spam généralisé de Liam Porr, d'autres scénarios malveillants sont envisagés. Que se passerait-il si quelqu'un nourrissait le modèle de OpenAI avec des milliers d'articles de désinformation ? L'algorithme pourrait produire, en masse, des contenus haineux. Et de l'aveu même de ses créateurs, l'efficacité de GPT-2 peut être grandement améliorée avec le travail d'humains qui donneraient des indications aux chercheurs. Un travail onéreux, répétitif et chronophage qui est cependant réalisable.
Consciente de ces enjeux, l'entreprise s'est dotée d'une charte éthique dès 2018, et Microsoft, qui a investi 1 milliard de dollars dans la startup à l'été 2019, devrait garder un œil sur le sujet. Mais cet idéal éthique va se confronter avec une réalité économique. Les ressources matérielles et humaines pour mener une recherche en intelligence artificielle de pointe coûtent cher. L'an dernier, le CEO Sam Altman a donc créé une nouvelle société, OpenAI LP, cette fois à but lucratif. Et GPT-3 pourrait être un de ses premiers produits commercialisés.