Pour Facebook, l’intelligence artificielle sera économe en données ou ne sera pas
L'intelligence artificielle n'a jamais été autant mise en avant qu'en 2019.
Dans un entretien au magazine Wired, Jerome Pesenti, vice-président dédié à l'intelligence artificielle pour Facebook, présente une image de la discipline loin de ce qu'on lit communiqué après communiqué. Si l'idéalisme ne le quitte pas, présentant la mission de son laboratoire comme « égaler l'intelligence humaine », Pesenti reconnaît humblement les limites des méthodes employées, et notamment celle de l'apprentissage profond (deep learning). « Certaines critiques contre le deep learning sont valides, affirme-t-il : il peut reproduire des biais humains, il n'est pas simple à expliquer, il n'a pas de sens commun... on est plus proche du niveau où l'on fait coïncider des motifs que de celui où l'on obtient une compréhension sémantique robuste ».
L'apprentissage profond, un mur ?
Cette méthode nous avait été décrite en février 2019 lors d'un déjeuner au laboratoire parisien de Facebook nommé FAIR, présenté par les scientifiques européens qui chapeautent ces avancées, Holger Schwenk en tête. L'apprentissage machine appliqué au langage, par exemple, est l'un de leurs défis : comment faire comprendre une langue humaine à un ordinateur ? Comment créer des structures suffisamment complexes pour qu'elles puissent recouvrir tous les cas de figure ? Et, plus difficile encore, comment faire en sorte qu'un modèle qui fonctionne dans une langue puisse aussi fonctionner dans une autre langue ?
C'est tout l'enjeu derrière l'apprentissage profond appliqué au langage : certaines langues ont des bases de données disponibles colossales pour entraîner des algorithmes quand d'autres manquent cruellement de ressources. Le programme informatique n'est intelligent que s'il sait appliquer à une langue peu utilisée et peu diffusée les mêmes conclusions qu'à l'anglais. Ou, mieux encore, tirer des modèles sans jeu de données.
Bien entendu, une vision romancée de l'IA projette de petits robots se mettant à lire des livres. La réalité est absolument mathématique : une IA, comme celle développée au FAIR, est un modèle géométrique qui positionne les mots sur des vecteurs et essaie d'en déduire un sens. Avec pour objectif à terme de se passer complètement de « langue pivot », comme l'anglais, si pratique pour mener des expériences, mais si unique également par le nombre de documents produits par l'esprit humain qui rendent la tâche des machines beaucoup plus simples.
Et ces limites du jeu de données qui nous avaient été exposées sont reprises par Jerome Pesenti : « Quand vous faites changer le deep learning d'échelle, il devient meilleur et peut résoudre de plus nombreuses tâches de manière plus efficace. Il y a donc un avantage indéniable à « scaler ». Mais notre besoin pour progresser est intenable. Tous les ans, le coût des expérimentations les plus complexes va être multiplié par 10. [...] À un moment, nous allons nous prendre le mur en pleine face ». Cette crainte est simple à expliquer : l'apprentissage devient meilleur quand le jeu de données mis à sa disposition est plus grand et qu'une plus grande puissance de calcul est allouée à un projet. Et l'on ne peut ni exploser les budgets ni les limites de calcul de l'informatique.
Reste alors au champ d'études de l'intelligence artificielle basée sur l'apprentissage machine une direction à prendre : optimiser les calculs et rendre les expériences de moins en moins dépendantes des données. « Nous avons vraiment besoin de penser optimisation et de tirer le meilleur de chaque unité de chaque calcul que nous faisons ». Une écologie de la donnée qui nous avait été dévoilée au FAIR pour le langage : qu'il s'agisse du projet LASER ou des méthodes d'entraînement non supervisées, tout le travail de recherche est centré sur la réduction. Jusqu'à imaginer un programme capable de comprendre la structure des langues sans donnée labellisée pour s'entraîner.