Après avoir présenté son monde virtuel en 3D, la cellule dédiée à l'intelligence artificielle chez Nvidia vient de lever le voile sur une technologie capable de créer des objets 3D à partir d'une simple photo.

Nvidia continue de mettre l’intelligence artificielle à toutes les sauces. Après son Omniverse présenté le 12 avril 2021, le célèbre fabricant de cartes graphiques devenu figure incontournable de l’IA veut transformer vos photos en rendu 3D… enfin certaines de vos photos.

GANverse3D, évolution de la photogrammétrie

Son outil surnommé GANverse3D est capable de prendre les éléments de vos photos 2D pour en faire, automatiquement, des modélisations 3D exploitables dans des environnements de jeu, de design industriel ou d’architecture 3D. Pour accomplir ce tour de magie, Nvidia a nourri son intelligence artificielle avec des milliers de photos d’objets sous tous les angles pour lui permettre de « deviner » et recréer en 3D les aspects de certains objets.

GANverse3D va plus loin que les techniques actuelles de photogrammétrie qui s’appuie sur plusieurs angles de vue pour créer un élément 3D. Chez Nvidia, une seule photo et beaucoup d’IA suffisent pour créer un rendu en trois dimensions.

Malheureusement, il n’est pas encore question de se balader dans ses clichés d’enfance en 3D. L’IA de Nvidia est spécialisée dans le passage 2D/3D d’éléments précis de vos photos, afin de les extraire et de les exploiter dans des environnements numériques externes (comme son Omniverse justement).

De sérieuses limites pour le moment

GANverse est d’ailleurs tellement spécialisé qu’elle fonctionne surtout sur des photos de voiture. « Le plus gros jeu de données était celui des photos de voiture » justifie Jun Gao un ingénieur de Nvidia qui a travaillé sur le projet. Résultat, quand l’IA tente de modéliser d’autres éléments, les résultats sont moins impressionnants.

Pour sa démo, Nvidia utilise KITT, la voiture de K2000 // Source : Nvidia — Youtube

Dans sa présentation, l’entreprise a montré comment l’IA modélisait un cheval en 3D, et le résultat était nettement moins convaincant que pour les voitures.  « On ne voit quasiment jamais de photos de cheval vu d’en haut », fait valoir Jun Gao. GANverse doit donc inventer cet aspect du cheval avec le peu de données disponibles, et le résultat s’en ressent.

Comme toutes les IA spécialisées, GANverse est donc limitée pour le moment. Mais avec un peu d’entrainement et quelques millions d’images supplémentaires, l’outil de Nvidia pourra simplifier la vie des animateurs 3D et des designers industriels.

Partager sur les réseaux sociaux

La suite en vidéo