Un doctorant donne vie aux photos en réalité augmentée… et c’est magique

On dirait la photo banale d’un bonhomme en fil de fer. Mais, du bout de la souris, on peut lui tirer le bras, le tordre ou le secouer, comme dans une sorte de jeu vidéo ultra réaliste. Cette technique quasi magique s’appelle « vidéo dynamique interactive » (IDV). Elle est l’œuvre d’Abe Davis, doctorant au CSAIL, le laboratoire d’informatique et d’intelligence artificielle du Massachussets Institute of Technology (MIT).

Pour tout matériel, il suffit d’une caméra normale (voire d’un smartphone) posée sur un pied ou une surface stable. Celle-ci filme alors entre cinq secondes et une minute d’un objet fixe soumis à de légères vibrations, comme un buisson sous un courant d’air. Même une vidéo récupérée sur Internet peut suffire.

De la même manière qu’on en apprend sur les objets en les touchant, le logiciel en analyse les vibrations et déduit comment ils réagiraient si on les manipulait. Ce résultat nécessitait traditionnellement une onéreuse et parfois impossible modélisation 3D.

En milieu professionnel, l’IDV permettrait aux ingénieurs de tester virtuellement la résistance d’un vieux bâtiment à une tempête ou à un séisme, simplement en le filmant. Mais les applications les plus riches se trouvent du côté du divertissement.

Dans le cinéma, il est notoirement difficile de faire interagir un personnage en images de synthèse avec un environnement physique. Il faut souvent recréer des modèles virtuels de tout ce que le personnage de synthèse touche. L’IDV permettrait de sauter cette étape, réduisant drastiquement les coûts des effets spéciaux.

Enfin, pour les geeks dissipés que nous sommes, la technique améliorerait radicalement l’expérience de la réalité augmentée. Dans une version de Pokémon Go dotée de l’IDV, on pourrait voir Pikachu se faufiler entre des buissons de la vraie vie, ou même, qui sait, sauter au trampoline. Mais regardez plutôt la vidéo ci-dessus : elle parle d’elle-même.

Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.