Voilà plus de deux mois et demi que ChatGPT est accessible pour des tests publics. Depuis novembre, beaucoup a été dit sur cet agent conversationnel capable de manipuler avec aisance le langage naturel. Résultat, même s’il est pris en défaut parfois, l’outil est capable de retourner des réponses structurées et articulées aux demandes qu’on lui formule.
Pour fonctionner, ChatGPT a été entraîné à partir de ressources textuelles en très grande quantité. Cette préparation a été effectuée grâce aux méthodes que l’on retrouve en intelligence artificielle et plus précisément du côté de l’apprentissage automatique. Ce qu’il faut retenir, essentiellement, c’est que ChatGPT repose sur le modèle de langage GPT-3.5.
Des milliards et des milliards de paramètres pour GPT-4 ?
Or, GPT-4 arrivera prochainement. L’entreprise américaine OpenAI, qui est derrière ChatGPT, itère régulièrement pour fournir un outil de plus en plus en performant. GPT-2, sorti en 2019, comptait par exemple 1,5 milliard de paramètres. Il a été suivi en 2020 par GPT-3, qui en compte 175 milliards — soit un réseau de neurones artificiels 116 fois plus développés.
Sur GPT-4, OpenAI est resté fort discret jusqu’à présent — laissant les internautes à leurs fantasmes. Ainsi, depuis septembre 2021, la rumeur veut que GPT-4 dispose de cent billions (100 000 000 000 000) de paramètres. Soit un réseau 571 fois plus développé que GPT-3. Ce bond a été évoqué dans un article de Wired en août 2021, sur un sujet ne concernant pas directement OpenAI.
Depuis, ce nombre revient, que ce soit sur le forum de discussion d’OpenAI, dans des billets de blog ou dans des tweets enthousiastes. Il s’avère que Sam Altman, le fondateur d’OpenAI, a démenti la rumeur d’un GPT-4 disposant d’autant de paramètres. Au contraire, GPT-4 aurait en réalité une taille équivalente à GPT-3. Les progrès seraient plutôt du côté du traitement des données.
De la vidéo, de l’image, du son…
Depuis, les bruits de couloir autour de GPT-4 suggèrent que ce modèle de langage serait multimodal, c’est-à-dire qu’il pourrait non seulement accepter du texte, mais aussi de l’image, de l’audio et de la vidéo. Aujourd’hui, ChatGPT (qui repose sur un GPT-3.5) ne retourne que du texte. Mais il existe aujourd’hui des outils capables de générer de l’image. OpenAI fournit d’ailleurs DALL-E.
GPT-4 semble manifestement opérationnel depuis 2022, mais l’accès est restreint à un petit nombre d’internautes. « Un ami a accès au GPT-4 et ne peut pas en parler à cause des accords de confidentialité.[…] Son émotion seule m’a dit que c’était un niveau supérieur », selon Robert Scoble, un blogueur de renom américain, en août 2022.
Ce même Robert Scoble a ensuite écrit en novembre : « La disruption arrive. GPT-4 est meilleur que ce qu’on attend. Et c’est l’une des nombreuses IA de ce type qui seront livrées l’année prochaine ». Difficile de faire mieux en termes de teasing. En tout cas, il semble que l’arrivée de GPT-4 serait bien pour 2023 — OpenAI ne dit rien là-dessus sur son site web.
Qu’en dit Sam Altman, d’ailleurs ? L’intéressé tend à souffler le chaud et le froid. Sur Twitter, il s’est laissé aller à une publication énigmatique, en détournant une citation de Dark Vador dans le tout premier film de Star Wars. L’occasion de parler rapidement du test de Turing, sans en dire plus.
La citation originale du film est la suivante : « Ne soyez pas trop fier de cette terreur technologique que vous avez construite. La capacité de détruire une planète est insignifiante à côté du pouvoir de la Force… » Mais la deuxième partie a été adaptée en : « La capacité de passer le test de Turing est insignifiante à côté du pouvoir de la Force. »
Une façon de dire que l’intérêt de GPT-4 ne sera pas dans la validation de ce test ? Le mystère demeure : on avait d’ailleurs voulu faire le test de Turing avec ChatGPT, mais ça ne s’est pas passé comme prévu. Le concept ? Une personne échange à l’aveugle avec une machine et humain, sans savoir qui est qui. S’il ne parvient pas à repérer la machine, le test est validé.
Depuis, Sam Altman semble même plutôt chercher à atténuer les éventuelles trop hautes attentes autour de GPT-4. Dans un échange avec TechCrunch, il a d’abord refusé de dire quand exactement ce modèle de langage sera publié. Il « sortira à un moment donné, lorsque nous serons sûrs de pouvoir le publier de manière sûre et responsable ». C’est-à-dire sans détournement nuisible.
Quant à celles et ceux qui rêvent déjà que GPT-4 soit une IA générale, c’est-à-dire pouvant approcher les capacités cognitives humaines, Sam Altman tempère. « Nous n’avons pas d’IA » de ce type, a-t-il prévenu. Ici, GPT-4 va « décevoir ». Reste donc à savoir où se nichera la disruption exceptionnelle qu’évoque Robert Scoble et sur laquelle plaisante Sam Altman avec son mème.
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
