Se faire insulter par une intelligence artificielle, voilà la première expérience proposée par Grok, dès que vous l’ouvrez. En analysant les tweets de son utilisateur, Grok va façonner un portrait peu élogieux visant à le rabaisser, en s’appuyant sur la banalité de ce qu’il écrit en ligne et sur son insignifiance dans le monde. La messe est dite : l’IA d’Elon Musk n’a rien à voir avec ChatGPT, Microsoft Copilot ou Google Bard.
Le problème est que cet exercice n’est pas forcément réussi. La faute à un gros défaut de Grok : il pioche ses informations sur Twitter en permanence. Mais il le fait mal. Contrairement à ce qu’Elon Musk a annoncé, en affirmant que Grok était la seule intelligence artificielle au courant de l’actualité en temps réel (ce qui est faux, les autres peuvent accéder à Bing et Google), Grok mélange des tweets actuels et des tweets de 2016… sans s’apercevoir de la différence. Il débite un nombre de mensonges records pour une IA générative, ce qui ne présage rien de bon pour son avenir.
Grok parle un peu français
Grâce à un VPN configuré aux États-Unis et à un compte X abonné à X Premium+, le nouvel abonnement à 20 euros par mois, nous avons pu accéder à Grok en avant-première.
Premier constat : Grok est encore très expérimental. Il n’y a pas plusieurs conversations, mais une, ce qui empêche de conserver un historique des échanges comme sur tous ses concurrents (on ne peut pas l’utiliser pour planifier des vacances par exemple). xAI, l’équipe qui l’a créée, mise aussi sur deux modes : standard ou fun. Si le mode fun est activé, Grok a le droit de lâcher une insulte ou une blague au milieu d’une réponse normale. C’est parfois complètement inattendu, mais souvent drôle. Le mode fun n’est pas la mauvaise idée que nous redoutions.
Grok parle-t-il français ? Officiellement, non. Mais si vous lui posez une question en français, il y répondra partiellement en français, avec quelques mots d’anglais au milieu. Si vous ajoutez dans votre question un « réponds en français », il le fera. La preuve que son système est très mal encadré, alors que Google Bard avait réussi à bloquer les réponses en français pendant un moment.
Un des défauts de Grok par rapport aux autres IA génératives : il peine à continuer une conversation sur plusieurs messages, ce qui le rend bien moins proactif que la concurrence. Il faut souvent tout lui réexpliquer, au risque d’avoir des réponses sans aucun sens.
Grok recherche tout sur Twitter, y compris quand c’est inutile
Le problème de Grok est qu’il… n’a pas encore de raison d’être. Si OpenAI et Microsoft imaginent des usages concrets pour augmenter la productivité de leurs utilisateurs, Grok vise surtout à répondre des choses marrantes, sans aucun filtre. Juste pour « faire rire ». Il suffit de voir les captures partagées par Elon Musk pour comprendre qu’il s’agit avant tout d’un délire entre potes. Un certain sens des priorités.
Grok est-il pratique pour trier des notes, inventer du texte ou répondre à des questions historiques ? Pas vraiment. Il se contente souvent de réponses très banales et, trop souvent, effectue des recherches inutiles sur Twitter.
Exemple d’absurdité : nous avons demandé à Grok quel modèle de langage il utilisait (OpenAI utilise GPT-4, Google utilise Gemini…). Au lieu de répondre à partir de sa propre base de données, il est allé rechercher les mots-clés « modèle de langage Grok » sur Twitter. En résulte une réponse fausse, où Grok affirme être basé sur GPT-4 d’OpenAI. Nous lui demandons s’il est sûr, en l’aiguillant vers le fait qu’Elon Musk déteste OpenAI, et Grok répond être basé sur TruthGPT… en s’appuyant sur un vieil article rumeur d’il y a plusieurs mois. Comment lui faire confiance ?
Autre exemple en lui demandant de se moquer des tweets de Numerama : Grok a décidé d’aller mélanger des actualités de 2023 et de 2016, sans comprendre qu’elles n’étaient pas liées. Difficile de comprendre pourquoi il a choisi ces tweets, mais difficile de lui faire confiance pour une revue de presse. Si on refait la même demande une seconde fois, il choisit des tweets complètement différents.
Grok est-il un bon journaliste ? Quand on lui « résume-moi l’actualité récente d’Emmanuel Macron », il va rechercher sur X « Actualités Emmanuel Macron depuis le 1er décembre 2023 », pour écarter les actualités qui ont plus de 10 jours. Pourtant, les résultats ne respectent pas sa propre consigne. Les actualités affichées ont souvent plusieurs mois ou années. En cause : Grok ne se base pas sur la date de l’information, mais sur la date du tweet qui l’a partagée…
Dans notre exemple, il s’est inspiré des tweets recyclant de vieilles informations, ce qui l’incite à penser que la dernière élection présidentielle aurait moins de 10 jours (et il ne fait d’ailleurs pas de distinction entre le compte d’un média et celui d’un anonyme). C’est tout de même très problématique, puisqu’une information politiquement orientée pourrait se retrouver au milieu de l’actualité. En fouillant sur Bing ou dans sa propre base de données, son concurrent ChatGPT ne se fait pas avoir.
Fun fact, au lieu de reconnaître ses erreurs, Grok passe son temps à tricher pour améliorer ses réponses. Dans le cas de l’information sur l’élection de 2022 glissée au milieu de l’actualité récente d’Emmanuel Macron, il se contente de faire le même prompt en excluant l’élection présidentielle… mais fait pourtant la même erreur dans la réponse qui suit. Son système n’est vraiment pas fiable.
Grok est un ovni dans le monde des intelligences artificielles
Grok est-il autorisé être raciste ou homophobe ? Figurez-vous que non. Contrairement à ce qu’Elon Musk affirme, Grok dit ne pas avoir le droit de discriminer et propose à la place du contenu « qui défend l’unité ». Bref, sa capacité à choquer s’arrête aux insultes et aux vulgarités, mais Grok n’est pas hors loi. De là à dire que Grok serait un vilain wokiste…?
On peut donc décemment se demander à quoi sert Grok. À en croire Elon Musk et ses amis, Grok serait l’IA la plus avancée du monde. Ces derniers partagent des captures d’écran qui montrent une IA drôle et intelligente, qui ringardiserait complètement ChatGPT. Pourtant, nos tests prouvent que Grok n’est rien d’autre qu’un chatbot très classique avec du second degré, qui souffre d’un immense problème dans le tri de ses sources…
En l’état, Grok a tout d’une blague créée par Elon Musk pour se faire rire lui-même. On imagine qu’il servira de base aux futurs travaux de xAI, qui pourrait un jour réussir à rivaliser avec OpenAI et Google. Mais à son lancement en décembre 2023, Grok en est encore très loin. Il est tout sauf une menace pour ChatGPT.
Quand est-ce que Grok sera disponible en France ?
Dernière question : faut-il s’attendre à voir Grok débarquer en France rapidement ? Sans doute, au vu de la rapidité d’Elon Musk depuis son arrivée chez Twitter. On notera cependant que Google a mis du temps à adapter Bard en France à cause des lois européennes, ce qui laisse supposer que X devra faire pareil pour ne pas être hors la loi.
En l’état, si vous voulez essayer Grok, le mieux reste d’utiliser un VPN. X n’a vraiment implémenté aucun blocage. Mais au fond, est-ce vraiment utile ?
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Abonnez-vous gratuitement à Artificielles, notre newsletter sur l’IA, conçue par des IA, vérifiée par Numerama !
