Les googlers anglais et des chercheurs de l’Université d’Oxford ont exposé Google DeepMind à des milliers d’heures de télévision afin que l’IA apprennent à lire sur les lèvres.

Pour développer le logiciel le plus efficace en matière de lecture labiale, Google et les chercheurs d’Oxford ont utilisé la télévision pour trouver les données nécessaires à l’apprentissage de la machine. Ainsi, Google DeepMind a consommé des milliers de programmes télévisés afin d’apprendre comment les humains distordent leurs lèvres au son des mots qu’ils prononcent.

Le réseau neuronal s’est ainsi plongé dans les programmes de la BBC et a essayé de sous-titrer les vidéos qu’il voyait. L’étude qui résulte de l’expérience montre qu’avec cette session d’apprentissage, DeepMind est capable de traduire avec justesse 46,8 % des mots prononcés.

googledeepmind-logotype-horizontal-colour-300ppi

En comparaison, il est important de noter qu’un professionnel de la lecture labiale ne parvient à déchiffrer que 12,6 % des mots en moyenne.

Le programme de l’IA de Google dépasse donc désormais les compétences humaines lorsqu’il s’agît de lire sur les lèvres. Avec plus de 5 000 heures de télévision à son actif, Watch, Listen, Attend, and Spell est désormais entraîné.

Lorsque l’IA regardait Newsnight, Question Time et The World Today, elle est parvenue à comprendre 110 000 phrases différentes et approximativement 17 500 mots. On peut dès lors imaginer que DeepMind serait déjà capable de sous-titrer, au moins partiellement, l’essentiel des talk-show anglophones. Enfin, il faudra pour cela que chaque mot soit dit face caméra, bien entendu.

DeepMind était capable de traduire avec justesse 46,8 % des mots prononcés

Bien sûr, le logiciel pourrait naturellement aider les malentendants à s’atteler à cette tâche sophistiquée de la lecture labiale. Mais on peut également déjà imaginer voir le moteur de reconnaissance labial être utilisé pour compléter et améliorer les moteurs de reconnaissances vocales déjà utilisés dans Google Home par exemple.


Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !