Cet algorithme « supprime » l’eau sur les photos subaquatiques

Le journal Scientific American a repéré, dans son édition à paraître en décembre 2019, une innovation technologique qui surclasse tous les filtres Instagram dont vous pourriez rêver. Un algorithme baptisé Sea-thru offre la capacité technique de quasiment « supprimer » l’eau sur les photos subaquatiques. Les deux inventrices détaillent leur travail dans un article PDF accessible en ligne. Le nom du programme est un astucieux jeu de mots phonétique, il faut comprendre « see-through » (« voir à travers »).

Ce projet partait d’une constatation : sur les photos prises sous l’eau, les éléments capturés sous l’objectif ne sont pas toujours bien visibles, ou ne sont pas fidèles à la réalité. L’eau provoque un effet de distorsion, ainsi qu’un filtre coloré qui ne restitue pas le véritable état. Ce n’est pas tant un problème esthétique qu’un problème scientifique, puisque c’est parfois un obstacle au référencement efficace des espèces marines (même les IA ont du mal à les identifier et à les classer). Sur des logiciels de montage comme Photoshop, il est possible régler certains niveaux de couleur afin de gommer certaines propriétés colorimétriques de l’eau. Mais c’est très artisanal et ne permet pas d’obtenir les « vraies » couleurs de l’environnement subaquatique.

Avant / après le traitement Sea-thru, en présence d'une palette de couleurs.

Source : Derya Akkaynak

Sur l’image ci-dessus, une palette de couleurs a été posée à côté d’un corail. Cela permet de constater la différence de fidélité des couleurs entre la présence d’eau (gauche) et son gommage par l’algorithme (droite).

Pour aller plus loin

Bluffant : cette IA transforme vos selfies en peinture en temps réel

Les couleurs sont restaurées

L’algorithme Sea-thru n’a rien à voir avec les correctifs possibles sous Photoshop. Il ne traite pas les niveaux de couleur, mais la physique lumineuse, soit plus précisément son absorption et son rayonnement. Sea-thru est capable de repérer les particules lumineuses correspondant à la présence d’eau. Cela signifie que le programme informatique identifie pixel par pixel la distorsion et les mauvais modèles de couleur qui en résultent, puis il inverse l’effet. Résultat, les couleurs qui avaient été perdues par la présence d’eau sont restaurées.

Pour que Sea-thru repère effectivement les pixels distendus par l’eau, le programme a besoin d’enregistrer un maximum d’informations sur l’environnement de l’image. Il faut par exemple qu’il puisse déterminer très précisément la distance entre l’objectif et l’élément photographié. Comme elle l’explique sur Reddit, la co-inventrice Derya Akkaynak a pris systématiquement plusieurs photos des objets sous-marins pour les avoir sous plusieurs angles. Une autre possibilité est la photogrammétrie, une technique qui intègre la distance dans les données de l’image — Sea-thru est capable de les comprendre et les traduire.

Avant le traitement de l’algorithme / après le traitement. Comme vous le voyez, l’image est moins sombre, moins bleutée, plus nette. // Source : Derya Akkaynak

En tout cas, comme vous pouvez le constater sur les images, l’algorithme est efficace et le résultat est impressionnant : une fois traitée par Sea-thru, l’image montre les coraux comme s’ils étaient vus par l’œil humain en dehors de tout environnement marin, à l’air libre.

Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.