Début 2023, l’arrivée de Llama, le modèle de langage développé par Meta destiné aux systèmes d’intelligences artificielles, faisait grand bruit. Pensé pour être plus compact, plus facile à utiliser, et tout aussi performant que ce qui fait tourner ChatGPT (les modèles de langage GPT-3.5 et GPT-4), Llama était vu comme l’entrée de Meta dans la guerre de l’IA.
Le 18 juillet, Meta a annoncé la nouvelle étape dans le développement de Llama, avec l’espoir de frapper un grand coup : en partenariat avec Microsoft, la version 2.0 du modèle de langue arrive. Particularité de cette nouvelle mouture, outre ses améliorations techniques : elle est gratuite pour la recherche, mais aussi pour les utilisations commerciales, tout en étant publiée en code source ouvert (open source).
« Nous nous associons à Microsoft pour présenter Llama 2, la nouvelle génération de notre modèle linguistique open source », a ainsi déclaré Mark Zuckerberg sur son compte Facebook. « Llama 2 sera disponible gratuitement pour la recherche et l’utilisation commerciale ». « Nous pensons qu’une approche ouverte est la bonne approche pour le développement des modèles d’IA d’aujourd’hui » a également indiqué Meta, la maison mère de Facebook, Instagram, WhatsApp et Threads dans un post de blog.
Llama 2 est gratuit pour les chercheurs et les professionnels
Meta place beaucoup d’espoir dans Llama, qui doit lui permettre de se faire une place dans la course à l’IA. Tous les géants de la tech se sont lancés dans cette compétition. Mais à la différence d’OpenAI, qui propose un chatbot fonctionnel avec ChatGPT, Llama est un socle technique. C’est un grand modèle de langage (LLM) sur lequel sont bâtis les intelligences artificielles génératives — ce qu’est ChatGPT, puisqu’il génère du contenu selon les instructions de l’internaute.
Les modèles de langage sont donc des rouages essentiels de l’industrie des IA : des bons modèles permettent d’avoir, en bout de course, des intelligences artificielles bien entrainées, et donc plus pertinentes. On peut le voir comme un sport : si on s’entraîne avec un mauvais coach, en faisant des piètres mouvements, on peut se blesser. S’exercer avec un bon coach est essentiel — et Llama a justement été développé pour bousculer le secteur et tenir tête aux modèles de type GPT, mais aussi à LaMDA de Google, le modèle de langage qui alimente Bard.
Les LLM contiennent de grandes quantités de données et de paramètres : GPT-3 fonctionne sur 175 milliards de paramètres, et le modèle de Google en comprend 540 milliards. Llama était différent : avec une base de données beaucoup plus petite (il existe plusieurs versions, qui comprennent entre 7 et 60 milliards de paramètres), le LLM parvenait à des résultats impressionnants. Meta estimait même que « LLaMA-13B surpasse GPT-3 sur la plupart des critères. »
Llama n’était cependant pas accessible à tout le monde : le LLM n’était disponible que pour les chercheurs. Or, « nous avons été époustouflés par l’énorme demande des chercheurs pour Llama 1 », précise aujourd’hui Meta, « avec plus de 100 000 demandes d’accès au modèle de langage. »
La version 2 de Llama, que Meta vient de lancer, va continuer sur les mêmes bases que son prédécesseur. « Nous sommes maintenant prêts à mettre en open source la prochaine version de Llama 2 et à la rendre disponible gratuitement pour la recherche et l’utilisation commerciale. »
Llama 2, un modèle de langage encore plus performant
Qu’est-ce qui change avec Llama 2 ? À en croire la présentation de Meta, beaucoup de choses. « Les modèles pré-entraînés de Llama 2 sont entraînés sur 2 trillions de tokens », soit 40 % de données en plus que Llama 1.
Surtout, « Llama 2 surpasse d’autres modèles linguistiques open source sur de nombreux critères de référence externes », se vante Meta, que ce soit sur des « tests de raisonnement, de codage, de compétences, ou de connaissances ». Enfin, un modèle pré-affiné est disponible : Llama-2-chat, qui « exploite des ensembles de données d’instruction accessibles au public et plus d’un million d’annotations humaines. »
Dans son annonce, Meta en profite également pour cimenter son partenariat avec Microsoft, qui est accessoirement aussi un partenaire très proche d’OpenAI et, donc, de ChatGPT. « Nous passons à la vitesse supérieure en faisant de Microsoft notre partenaire privilégié pour Llama 2 et en développant nos efforts dans le domaine de l’IA générative ».
Llama 2 sera ainsi disponible dans le catalogue de modèle de langage de Microsoft, « ce qui permettra aux développeurs utilisant Microsoft Azure de construire avec lui ». Llama 2 sera également disponible « via Amazon Web Services (AWS), Hugging Face et d’autres fournisseurs également », et est « optimisé pour fonctionner localement sur Windows ». Entre les lignes, Meta veut laisser les coudées franches aux utilisateurs, que ce soit en local ou bien dans le cloud.
De fait, ce positionnement illustre une philosophie différente de celle exprimée plus récemment par OpenAI, qui est pour beaucoup d’entreprises travaillant dans l’IA le compétiteur à abattre : à ses débuts, OpenAI expliquait vouloir une « recherche ouverte », et revendiquait une philosophie open source. L’entreprise a depuis fait marche-arrière, estimant même s’être « trompée » sur ce thème.
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
