Avec ses 8 touches, ce piano de Google transforme n'importe qui en virtuose
Les 8 boutons du « Piano Genie » suffisent pour contrôler les 88 touches d'un véritable instrument de musique.
Les ingénieurs Chris Donahue, Ian Simon et Sander Dieleman ont présenté le 15 octobre 2018 leur « interface musicale intelligente », qui consiste en une manette liée à un piano, équipée de 8 touches colorées. Comme le soulignent ses inventeurs, l'objet rappelle le jeu Rock Band (qui s'est adapté l'année dernière au format de la réalité virtuelle).
https://www.youtube.com/watch?v=7N4PjQ1ociE
L'objet tangible, que l'on peut apercevoir dans une série de vidéos, s'accompagne d'une version en ligne que vous pouvez vous-même utiliser pour découvrir le fonctionnement du Piano Genie. Cette version est très facile à utiliser, puisqu'il suffit d'appuyer sur les touches 1 à 8 pour commencer à jouer de la musique.
Un auto-encodeur entrainé avec 1 400 morceaux
Comment les ingénieurs s'y sont-ils pris pour que le piano joue une mélodie harmonieuse, alors que la manette n'a que 8 touches ? Ils ont créé un auto-encodeur ; un réseau de neurones qui réorganise les données de manière à « réduire » l'ensemble des informations, comme ici avec les 8 touches qui simplifient l'usage du piano.
Cet auto-encodeur a été entrainé grâce à des « performances au piano existantes » : il a fallu utiliser un encodeur, qui a associé des séquences de notes de piano à des séquences de pression sur les 8 boutons, ainsi qu'un décodeur qui a interprété les mêmes séquences en notes au piano -- le schéma ci-dessus résume ce fonctionnement, à la seule différence qu'il y a 8 boutons de contrôle sur le Piano Genie, et non 4.
Les ingénieurs ont entraîné ce réseau de neurones à partir d'une base de 1 400 morceaux interprétés à l'occasion du Minnesota International Piano-E-Compétition, une concours organisé à Minneapolis. Il est cependant possible d'entraîner le piano avec les morceaux de son choix : les ingénieurs ont mis à disposition les outils nécessaires sur la plateforme GitHub.