Un professeur d’une école de commerce aux États-Unis s’est demandé si ChatGPT pourrait décrocher un diplôme universitaire. Son essai montre que oui… mais le chatbot d’OpenAI reste un cancre en maths.

Les élèves qui s’imagineraient faire leurs devoirs avec ChatGPT feraient bien de se méfier. Non seulement l’agent conversationnel développé par OpenAI a été pris en défaut plusieurs fois sur diverses questions… mais en plus, l’algorithme pourrait bien être un « rival » inattendu ! C’est ce que montre une histoire quelque peu étonnante qui vient des États-Unis.

CNBC signale dans son édition du 23 janvier un test réussi en lien avec un diplôme universitaire, le MBA (Master of Business Administration), qui qualifie une personne dans des domaines allant du management au marketing, en passant par les finances et les ressources humaines. Et le professeur qui a encadré ce test a partagé ses observations dans une note de 26 pages.

Un diplôme prestigieux obtenu par un élève médiocre

Pour autant, ChatGPT ne s’est pas révélé être un élève brillant — signe d’une intelligence artificielle finalement assez limitée. Certes, il aurait décroché en théorie le MBA dispensé par la Wharton School — il s’agit d’une très prestigieuse école de commerce située en Pennsylvanie, considérée comme la meilleure du genre selon le Financial Times –, mais sans obtenir une excellente note, observe l’enseignant.

« Compte tenu de cette performance, le Chat GPT3 aurait reçu une note de B à B- à l’examen », écrit Christian Terwiesch, qui a encadré cet essai. Un B- équivaut à une note de 10 ou 11/20 en France. Un B à une note de 11 ou 12. C’est très passable et loin d’être génial. Selon Christian Terwiesch, ce sont surtout ses performances en maths qui l’ont planté.

ChatGPT n’est pas un bon matheux

« Chat GPT3 fait parfois des erreurs surprenantes dans des calculs relativement simples du niveau de la 6ème au collège. Ces erreurs peuvent être d’une ampleur considérable », relève-t-il dans sa synthèse. C’est évidemment critique pour un diplôme où la manipulation des nombres, à travers le marketing ou les finances, est centrale.

Autre limite mise en lumière lors de ce test : « la version actuelle du Chat GPT n’est pas capable de traiter les questions d’analyse de processus plus avancées, même lorsqu’elles sont basées sur des modèles assez standard. Cela inclut les flux de processus avec des produits multiples et les problèmes avec des effets stochastiques tels que la variabilité de la demande. »

Mais le chatbot d’OpenAI a forcément brillé ailleurs, sinon il n’aurait pas pu arracher la moyenne au test. L’enseignant, dans son analyse, reconnaît un « travail remarquable pour les questions de base de gestion des opérations et d’analyse des processus », dont les études de cas. Il a relevé des réponses « correctes », soutenues par des explications « excellentes ».

Écran d'accueil de ChatGPT. // Source : OpenAI
L’écran d’accueil de ChatGPT. // Source : OpenAI

La faculté à prendre en compte les conseils d’un expert humain a aussi été notée : il arrivait à ChatGPT de se tromper, mais de corriger ses réponses après qu’on lui ait donné de nouvelles indications. Ainsi, au-delà de ses erreurs, qu’un élève pourrait aussi faire, ChatGPT a amélioré sa production. D’une certaine façon, il a mieux restitué ses connaissances.

L’histoire ne dit pas quelle appréciation aurait laissé Christian Terwiesch à ChatGPT s’il avait été un vrai élève. Mais dans un entretien au Financial Times, il a synthétisé son avis ainsi : « J’ai été submergé par la beauté de la formulation – la concision, le choix des mots, la structure. C’était absolument brillant… mais les maths sont horribles.» Sacré ascenseur émotionnel sur le bulletin de notes.


Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !