Nvidia transforme vos photos en objets 3D (mais cela ne marche pas avec tout)
Nvidia continue de mettre l'intelligence artificielle à toutes les sauces.
GANverse3D, évolution de la photogrammétrie
Son outil surnommé GANverse3D est capable de prendre les éléments de vos photos 2D pour en faire, automatiquement, des modélisations 3D exploitables dans des environnements de jeu, de design industriel ou d'architecture 3D. Pour accomplir ce tour de magie, Nvidia a nourri son intelligence artificielle avec des milliers de photos d'objets sous tous les angles pour lui permettre de « deviner » et recréer en 3D les aspects de certains objets.
https://www.youtube.com/watch?v=0PQnrnUIBlU
GANverse3D va plus loin que les techniques actuelles de photogrammétrie qui s'appuie sur plusieurs angles de vue pour créer un élément 3D. Chez Nvidia, une seule photo et beaucoup d'IA suffisent pour créer un rendu en trois dimensions.
Malheureusement, il n'est pas encore question de se balader dans ses clichés d'enfance en 3D. L'IA de Nvidia est spécialisée dans le passage 2D/3D d’éléments précis de vos photos, afin de les extraire et de les exploiter dans des environnements numériques externes (comme son Omniverse justement).
De sérieuses limites pour le moment
GANverse est d'ailleurs tellement spécialisé qu'elle fonctionne surtout sur des photos de voiture. « Le plus gros jeu de données était celui des photos de voiture » justifie Jun Gao un ingénieur de Nvidia qui a travaillé sur le projet. Résultat, quand l'IA tente de modéliser d'autres éléments, les résultats sont moins impressionnants.
Dans sa présentation, l'entreprise a montré comment l'IA modélisait un cheval en 3D, et le résultat était nettement moins convaincant que pour les voitures. « On ne voit quasiment jamais de photos de cheval vu d'en haut », fait valoir Jun Gao. GANverse doit donc inventer cet aspect du cheval avec le peu de données disponibles, et le résultat s'en ressent.
Comme toutes les IA spécialisées, GANverse est donc limitée pour le moment. Mais avec un peu d'entrainement et quelques millions d'images supplémentaires, l'outil de Nvidia pourra simplifier la vie des animateurs 3D et des designers industriels.