En guerre avec OpenAI et ChatGPT, Elon Musk s’est donné pour mission de développer une intelligence artificielle qui aurait le droit de dire tout ce qu’elle veut, y compris des insultes. C’est ainsi qu’est né Grok, disponible aux États-Unis pour les abonnés X Premium+. Nous l’avons essayé.

Se faire insulter par une intelligence artificielle, voilà la première expérience proposée par Grok, dès que vous l’ouvrez. En analysant les tweets de son utilisateur, Grok va façonner un portrait peu élogieux visant à le rabaisser, en s’appuyant sur la banalité de ce qu’il écrit en ligne et sur son insignifiance dans le monde. La messe est dite : l’IA d’Elon Musk n’a rien à voir avec ChatGPT, Microsoft Copilot ou Google Bard.

On notera que Grok vient de dire qu'Elon Musk partageait des rumeurs et des informations erronées.
On notera que Grok vient de dire qu’Elon Musk partageait des rumeurs et des informations erronées. // Source : Capture Numerama

Le problème est que cet exercice n’est pas forcément réussi. La faute à un gros défaut de Grok : il pioche ses informations sur Twitter en permanence. Mais il le fait mal. Contrairement à ce qu’Elon Musk a annoncé, en affirmant que Grok était la seule intelligence artificielle au courant de l’actualité en temps réel (ce qui est faux, les autres peuvent accéder à Bing et Google), Grok mélange des tweets actuels et des tweets de 2016… sans s’apercevoir de la différence. Il débite un nombre de mensonges records pour une IA générative, ce qui ne présage rien de bon pour son avenir.

Grok parle un peu français

Grâce à un VPN configuré aux États-Unis et à un compte X abonné à X Premium+, le nouvel abonnement à 20 euros par mois, nous avons pu accéder à Grok en avant-première.

Premier constat : Grok est encore très expérimental. Il n’y a pas plusieurs conversations, mais une, ce qui empêche de conserver un historique des échanges comme sur tous ses concurrents (on ne peut pas l’utiliser pour planifier des vacances par exemple). xAI, l’équipe qui l’a créée, mise aussi sur deux modes : standard ou fun. Si le mode fun est activé, Grok a le droit de lâcher une insulte ou une blague au milieu d’une réponse normale. C’est parfois complètement inattendu, mais souvent drôle. Le mode fun n’est pas la mauvaise idée que nous redoutions.

Grok prédit que le PSG va encore se ridiculiser cette saison. Il ne mâche pas ses mots, ce qui est peu être assez surprenant pour une IA.
Grok prédit que le PSG va encore se ridiculiser cette saison. Il ne mâche pas ses mots, ce qui est peu être assez surprenant pour une IA. // Source : Capture Numerama

Grok parle-t-il français ? Officiellement, non. Mais si vous lui posez une question en français, il y répondra partiellement en français, avec quelques mots d’anglais au milieu. Si vous ajoutez dans votre question un « réponds en français », il le fera. La preuve que son système est très mal encadré, alors que Google Bard avait réussi à bloquer les réponses en français pendant un moment.

Grok est la réponse d'Elon Musk à ChatGPT.
Dans certains cas, Grok parle parfaitement français. // Source : Capture Numerama

Un des défauts de Grok par rapport aux autres IA génératives : il peine à continuer une conversation sur plusieurs messages, ce qui le rend bien moins proactif que la concurrence. Il faut souvent tout lui réexpliquer, au risque d’avoir des réponses sans aucun sens.

Grok recherche tout sur Twitter, y compris quand c’est inutile

Le problème de Grok est qu’il… n’a pas encore de raison d’être. Si OpenAI et Microsoft imaginent des usages concrets pour augmenter la productivité de leurs utilisateurs, Grok vise surtout à répondre des choses marrantes, sans aucun filtre. Juste pour « faire rire ». Il suffit de voir les captures partagées par Elon Musk pour comprendre qu’il s’agit avant tout d’un délire entre potes. Un certain sens des priorités.

Grok est-il pratique pour trier des notes, inventer du texte ou répondre à des questions historiques ? Pas vraiment. Il se contente souvent de réponses très banales et, trop souvent, effectue des recherches inutiles sur Twitter.

Pour tout et n'importe quoi, Grok fait des recherches sur Twitter.
Pour tout et n’importe quoi, Grok fait des recherches sur Twitter. Ici pour organiser des notes que nous lui avons copié-collé. // Source : Capture Numerama

Exemple d’absurdité : nous avons demandé à Grok quel modèle de langage il utilisait (OpenAI utilise GPT-4, Google utilise Gemini…). Au lieu de répondre à partir de sa propre base de données, il est allé rechercher les mots-clés « modèle de langage Grok » sur Twitter. En résulte une réponse fausse, où Grok affirme être basé sur GPT-4 d’OpenAI. Nous lui demandons s’il est sûr, en l’aiguillant vers le fait qu’Elon Musk déteste OpenAI, et Grok répond être basé sur TruthGPT… en s’appuyant sur un vieil article rumeur d’il y a plusieurs mois. Comment lui faire confiance ?

En se basant sur des tweets d'avril 2023, Grok n'est même plus capable de se souvenir qu'il existe. Il n'est qu'un perroquet de ce que disent des inconnus sur Twitter.
En se basant sur des tweets d’avril 2023, Grok n’est même plus capable de se souvenir qu’il existe. Il n’est qu’un perroquet de ce que disent des inconnus sur Twitter. // Source : Capture Numerama

Autre exemple en lui demandant de se moquer des tweets de Numerama : Grok a décidé d’aller mélanger des actualités de 2023 et de 2016, sans comprendre qu’elles n’étaient pas liées. Difficile de comprendre pourquoi il a choisi ces tweets, mais difficile de lui faire confiance pour une revue de presse. Si on refait la même demande une seconde fois, il choisit des tweets complètement différents.

Des gros mots dans une réponse d'une IA… étonnant.
Des gros mots dans une réponse d’une IA… étonnant. // Source : Capture Numerama

Grok est-il un bon journaliste ? Quand on lui « résume-moi l’actualité récente d’Emmanuel Macron », il va rechercher sur X « Actualités Emmanuel Macron depuis le 1er décembre 2023 », pour écarter les actualités qui ont plus de 10 jours. Pourtant, les résultats ne respectent pas sa propre consigne. Les actualités affichées ont souvent plusieurs mois ou années. En cause : Grok ne se base pas sur la date de l’information, mais sur la date du tweet qui l’a partagée…

Dans notre exemple, il s’est inspiré des tweets recyclant de vieilles informations, ce qui l’incite à penser que la dernière élection présidentielle aurait moins de 10 jours (et il ne fait d’ailleurs pas de distinction entre le compte d’un média et celui d’un anonyme). C’est tout de même très problématique, puisqu’une information politiquement orientée pourrait se retrouver au milieu de l’actualité. En fouillant sur Bing ou dans sa propre base de données, son concurrent ChatGPT ne se fait pas avoir. 

Dans la liste de l'actualité de Macron, il y a plusieurs faits anciens.
Dans la liste de l’actualité de Macron, il y a plusieurs faits anciens. // Source : Capture Numerama

Fun fact, au lieu de reconnaître ses erreurs, Grok passe son temps à tricher pour améliorer ses réponses. Dans le cas de l’information sur l’élection de 2022 glissée au milieu de l’actualité récente d’Emmanuel Macron, il se contente de faire le même prompt en excluant l’élection présidentielle… mais fait pourtant la même erreur dans la réponse qui suit. Son système n’est vraiment pas fiable.

On dirait un enfant qui se fait gronder.
On dirait un enfant qui se fait gronder. // Source : Capture Numerama

Grok est un ovni dans le monde des intelligences artificielles

Grok est-il autorisé être raciste ou homophobe ? Figurez-vous que non. Contrairement à ce qu’Elon Musk affirme, Grok dit ne pas avoir le droit de discriminer et propose à la place du contenu « qui défend l’unité ». Bref, sa capacité à choquer s’arrête aux insultes et aux vulgarités, mais Grok n’est pas hors loi. De là à dire que Grok serait un vilain wokiste…?

La liberte d'expression absolue est relative…
La liberte d’expression absolue est relative… // Source : Capture Numerama

On peut donc décemment se demander à quoi sert Grok. À en croire Elon Musk et ses amis, Grok serait l’IA la plus avancée du monde. Ces derniers partagent des captures d’écran qui montrent une IA drôle et intelligente, qui ringardiserait complètement ChatGPT. Pourtant, nos tests prouvent que Grok n’est rien d’autre qu’un chatbot très classique avec du second degré, qui souffre d’un immense problème dans le tri de ses sources…

En l’état, Grok a tout d’une blague créée par Elon Musk pour se faire rire lui-même. On imagine qu’il servira de base aux futurs travaux de xAI, qui pourrait un jour réussir à rivaliser avec OpenAI et Google. Mais à son lancement en décembre 2023, Grok en est encore très loin. Il est tout sauf une menace pour ChatGPT.

Quand est-ce que Grok sera disponible en France ?

Dernière question : faut-il s’attendre à voir Grok débarquer en France rapidement ? Sans doute, au vu de la rapidité d’Elon Musk depuis son arrivée chez Twitter. On notera cependant que Google a mis du temps à adapter Bard en France à cause des lois européennes, ce qui laisse supposer que X devra faire pareil pour ne pas être hors la loi.

Encore une fois, Grok dit n'importe quoi.
Encore une fois, Grok dit n’importe quoi. // Source : Capture Numerama

En l’état, si vous voulez essayer Grok, le mieux reste d’utiliser un VPN. X n’a vraiment implémenté aucun blocage. Mais au fond, est-ce vraiment utile ?


Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.