Google RealFill pourrait être la prochaine grande astuce de photographie IA de l'entreprise

TL;DR

• Google a déposé une marque pour la technologie RealFill.
• La technologie permettra aux utilisateurs d'agrandir les images sur la base d'un maximum de cinq images de référence.
• Cela devrait entraîner une expansion de l’image plus précise par rapport à d’autres solutions.

Google a fait la promotion de l'IA générative de manière agressive au cours des 18 derniers mois environ, la fonctionnalité Magic Editor étant l'une des démonstrations les plus marquantes de cette technologie. Il semble désormais que la prochaine grande fonctionnalité photo basée sur l'IA de l'entreprise pourrait être RealFill.

Google a discrètement déposé la semaine dernière une marque pour la technologie dite RealFill. La marque a été déposée via l'Office de l'Union Européenne pour la Propriété Intellectuelle (EUIPO) et l'Office américain des brevets et du commerce (USPTO).

« Fourniture de logiciels non téléchargeables utilisant l'intelligence artificielle (IA) pour peindre des images ; Fournir un logiciel en ligne non téléchargeable pour créer des modèles génératifs », lit-on dans une brève description de la marque.

Il s'avère que la technologie RealFill a effectivement rompu la couverture à la fin de l'année dernière dans un papier et site web par une équipe de chercheurs de Google et de l’Université Cornell. L'article, intitulé « Génération basée sur la référence pour une complétion d'image authentique », décrit un moyen d'étendre et d'élargir plus précisément peindre images.

Plus précisément, RealFill est capable d'agrandir et de peindre avec plus de précision une image existante en utilisant jusqu'à cinq images comme référence :

Ces images de référence n'ont pas besoin d'être alignées avec l'image cible et peuvent être prises avec des points de vue, des conditions d'éclairage, des ouvertures de caméra ou des styles d'image considérablement différents.

L’équipe affine d’abord un modèle d’IA génératif personnalisé sur les images de référence et cibles. Ce processus permet au modèle d'apprendre l'éclairage, le style et le contenu de la scène dans les images.

Les résultats parlent néanmoins d’eux-mêmes, comme on le voit ci-dessus et ci-dessous. Les images ci-dessous montrent également comment les images RealFill se comparent à d'autres solutions, telles que Stable Diffusion.

Ce faisant, l’équipe a noté quelques limites avec RealFill. Un inconvénient notable est qu’il doit subir un « processus de réglage fin basé sur le dégradé » sur les images d’entrée, ce qui ralentit le processus. Il peut également être difficile de récupérer la scène dans l'image finale s'il existe une énorme différence entre les images de référence et l'image cible. De plus, les chercheurs ont découvert que le texte pouvait poser problème lors de l’utilisation de cette technique.

Verrons-nous cela sur le Pixel 9 ou Google Photos ?

Les brevets ou marques déposés ne garantissent pas que RealFill sera une réalité commerciale. Néanmoins, il va de soi que cela pourrait arriver sur un futur téléphone de la série Pixel et/ou sur Google Photos s'il est effectivement prévu pour une sortie commerciale.

Nous pensons qu'il s'agirait probablement d'une fonctionnalité basée sur le cloud plutôt que d'une option de retouche photo sur l'appareil, d'autant plus que l'équipe a noté que le processus de réglage fin est lent.

Les solutions actuelles d’agrandissement de photos et d’inpainting sont cependant loin d’être parfaites, donc une solution utilisant des images de référence pourrait encore donner de bien meilleurs résultats. Cela signifie également que les utilisateurs pourraient théoriquement revenir aux anciens clichés de leur bibliothèque Google Photos et générer de meilleures images.

Quoi qu'il en soit, cette fonctionnalité soulèvera probablement davantage de questions sur la définition d'une photo, tout comme Magic Editor de Google a déclenché un débat sur le sujet.