Cet algorithme « supprime » l'eau sur les photos subaquatiques
Le journal Scientific American a repéré, dans son édition à paraître en décembre 2019, une innovation technologique qui surclasse tous les filtres Instagram dont vous pourriez rêver.
Ce projet partait d'une constatation : sur les photos prises sous l'eau, les éléments capturés sous l'objectif ne sont pas toujours bien visibles, ou ne sont pas fidèles à la réalité. L'eau provoque un effet de distorsion, ainsi qu'un filtre coloré qui ne restitue pas le véritable état. Ce n'est pas tant un problème esthétique qu'un problème scientifique, puisque c'est parfois un obstacle au référencement efficace des espèces marines (même les IA ont du mal à les identifier et à les classer). Sur des logiciels de montage comme Photoshop, il est possible régler certains niveaux de couleur afin de gommer certaines propriétés colorimétriques de l'eau. Mais c'est très artisanal et ne permet pas d'obtenir les « vraies » couleurs de l'environnement subaquatique.
Sur l'image ci-dessus, une palette de couleurs a été posée à côté d'un corail. Cela permet de constater la différence de fidélité des couleurs entre la présence d'eau (gauche) et son gommage par l'algorithme (droite).
Les couleurs sont restaurées
L'algorithme Sea-thru n'a rien à voir avec les correctifs possibles sous Photoshop. Il ne traite pas les niveaux de couleur, mais la physique lumineuse, soit plus précisément son absorption et son rayonnement. Sea-thru est capable de repérer les particules lumineuses correspondant à la présence d'eau. Cela signifie que le programme informatique identifie pixel par pixel la distorsion et les mauvais modèles de couleur qui en résultent, puis il inverse l'effet. Résultat, les couleurs qui avaient été perdues par la présence d'eau sont restaurées.
Pour que Sea-thru repère effectivement les pixels distendus par l'eau, le programme a besoin d'enregistrer un maximum d'informations sur l'environnement de l'image. Il faut par exemple qu'il puisse déterminer très précisément la distance entre l'objectif et l'élément photographié. Comme elle l'explique sur Reddit, la co-inventrice Derya Akkaynak a pris systématiquement plusieurs photos des objets sous-marins pour les avoir sous plusieurs angles. Une autre possibilité est la photogrammétrie, une technique qui intègre la distance dans les données de l'image -- Sea-thru est capable de les comprendre et les traduire.
En tout cas, comme vous pouvez le constater sur les images, l’algorithme est efficace et le résultat est impressionnant : une fois traitée par Sea-thru, l'image montre les coraux comme s'ils étaient vus par l’œil humain en dehors de tout environnement marin, à l'air libre.