Google RealFill może być kolejnym wielkim trikiem fotograficznym AI firmy

TL;DR

• Firma Google zarejestrowała znak towarowy technologii RealFill.
• Technologia umożliwi użytkownikom rozszerzanie obrazów w oparciu o maksymalnie pięć obrazów referencyjnych.
• Powinno to skutkować dokładniejszym rozwinięciem obrazu w porównaniu do innych rozwiązań.

Google agresywnie promuje generatywną sztuczną inteligencję przez ostatnie 18 miesięcy, a funkcja Magic Editor jest jednym z najważniejszych przykładów tej technologii. Teraz wygląda na to, że kolejną dużą funkcją fotograficzną firmy wykorzystującą sztuczną inteligencję może być RealFill.

W zeszłym tygodniu Google po cichu zgłosił znak towarowy dotyczący tak zwanej technologii RealFill. Znak towarowy został zgłoszony za pośrednictwem Urzędu Unii Europejskiej ds. Własności Intelektualnej (EUIPO) oraz Amerykański Urząd Patentów i Handlu (USPTO).

„Udostępnianie oprogramowania nie do pobrania wykorzystującego sztuczną inteligencję (AI) do malowania obrazów; Udostępnianie oprogramowania online nie do pobrania, służącego do tworzenia modeli generatywnych” – czytamy w krótkim opisie znaku towarowego.

Okazuje się, że technologia RealFill faktycznie przełamała przykrywkę pod koniec ubiegłego roku w: papier I strona internetowa przez zespół badaczy z Google i Cornell University. Artykuł zatytułowany „Generowanie oparte na referencjach w celu autentycznego uzupełniania obrazu” opisuje sposób dokładniejszego rozszerzania i malować obrazy.

Mówiąc dokładniej, RealFill jest w stanie dokładniej rozszerzać i malować istniejący obraz, używając maksymalnie pięciu obrazów jako odniesienia:

Te obrazy referencyjne nie muszą być dopasowane do obrazu docelowego i można je wykonać przy drastycznie zmieniających się punktach widzenia, warunkach oświetlenia, przysłonie aparatu lub stylach obrazu.

Zespół najpierw dostraja spersonalizowany generatywny model sztucznej inteligencji na obrazach referencyjnych i docelowych. Proces ten pozwala modelowi poznać oświetlenie, styl i zawartość sceny na obrazach.

Niemniej jednak wyniki mówią same za siebie, jak widać powyżej i poniżej. Poniższe obrazy pokazują również porównanie obrazów RealFill z innymi rozwiązaniami, takimi jak Stable Diffusion.

Mówiąc to, zespół zauważył kilka ograniczeń związanych z RealFill. Jedną z zauważalnych wad jest to, że obrazy wejściowe muszą zostać poddane „procesowi dostrajania opartego na gradientach”, co spowalnia proces. Odtworzenie sceny na ostatecznym obrazie może być również trudne, jeśli istnieje ogromna różnica między obrazami referencyjnymi a obrazem docelowym. Co więcej, badacze odkryli, że w przypadku stosowania tej techniki problemem może być tekst.

Czy zobaczymy to na Pixelu 9 lub w Zdjęciach Google?

Zgłoszone patenty lub znaki towarowe nie gwarantują, że RealFill stanie się rzeczywistością komercyjną. Niemniej jednak oczywiste jest, że może to dotyczyć przyszłego telefonu z serii Pixel i/lub Zdjęć Google, jeśli rzeczywiście planowane jest wydanie komercyjne.

Domyślamy się, że będzie to prawdopodobnie funkcja oparta na chmurze, a nie opcja edycji zdjęć na urządzeniu, zwłaszcza że zespół zauważył, że proces dostrajania jest powolny.

Obecne rozwiązania w zakresie rozszerzania zdjęć i malowania są jednak dalekie od doskonałości, więc rozwiązanie wykorzystujące obrazy referencyjne może nadal zapewniać znacznie lepsze wyniki. Oznacza to również, że użytkownicy mogliby teoretycznie wrócić do starych zdjęć w swojej bibliotece Zdjęć Google i generować lepsze zdjęcia.

Tak czy inaczej, ta funkcja prawdopodobnie wywoła więcej pytań na temat definicji zdjęcia, podobnie jak Magic Editor Google wywołał debatę na ten temat.