Google RealFill は同社の次の大きな AI 写真トリックになる可能性がある

TL;DR

• Google は RealFill テクノロジーの商標を申請しました。
• この技術により、ユーザーは最大 5 つの参照画像に基づいて画像を拡大できるようになります。
• これにより、他のソリューションと比較して、より正確な画像拡張が行われるはずです。

Google は過去 18 か月ほどにわたって生成 AI を積極的に推進しており、Magic Editor 機能はこの技術の最も顕著なデモンストレーションの 1 つです。 さて、同社の次の大きなAI対応写真機能はRealFillになる可能性があるようだ。

Googleは先週、いわゆるRealFillテクノロジーの商標を密かに申請した。 この商標は欧州連合知的財産局を通じて提出されました (EUIPO) および米国特許貿易局 (USPTO）。

「画像の修復に人工知能 (AI) を使用したダウンロード不可のソフトウェアを提供します。 生成モデルを作成するためのダウンロード不可のソフトウェアをオンラインで提供する」と商標の簡単な説明が書かれています。

RealFill テクノロジーが実際に昨年末に、ある問題でカバーを破ったことが判明しました。 紙 そして Webサイト Googleとコーネル大学の研究者チームによる。 「本物の画像完成のための参照駆動生成」と題されたこの論文では、より正確に画像を拡張し、 修復する 画像。

具体的には、RealFill は、最大 5 つのイメージを参照として使用することで、既存のイメージをより正確に拡張および修復できます。

これらの参照画像はターゲット画像と位置合わせする必要はなく、視点、照明条件、カメラの絞り、または画像スタイルを大幅に変更して撮影できます。

チームはまず、リファレンス画像とターゲット画像に基づいてパーソナライズされた生成 AI モデルを微調整します。 このプロセスにより、モデルは画像内のシーンの照明、スタイル、内容を学習できるようになります。

それでも、上と下に見られるように、結果はそれ自体を物語っています。 以下の画像は、RealFill 画像と安定した拡散などの他のソリューションとの比較も示しています。

そう言う中で、チームは RealFill にはいくつかの制限があることに注意しました。 注目すべき欠点の 1 つは、入力画像に対して「勾配ベースの微調整プロセス」を実行する必要があるため、プロセスが遅くなることです。 また、リファレンス イメージとターゲット イメージの間に大きな違いがある場合、最終イメージのシーンを復元するのが困難になる可能性があります。 さらに、研究者らは、この手法を使用する場合、テキストが問題になる可能性があることを発見しました。

これはPixel 9やGoogleフォトで見られるのでしょうか？

出願された特許や商標は、RealFill が商業的に実現されることを保証するものではありません。 それにもかかわらず、実際に商用リリースが計画されている場合、将来の Pixel シリーズの携帯電話や Google フォトにこれが搭載される可能性があるのは当然です。

特に微調整プロセスが遅いとチームが指摘しているため、これはデバイス上の写真編集オプションではなく、クラウドベースの機能になる可能性が高いと推測しています。

ただし、現在の写真の拡張および修復ソリューションは完璧とは程遠いため、参照画像を使用するソリューションの方がさらに良い結果が得られる可能性があります。 これは、理論的にはユーザーが Google フォト ライブラリの古いスナップに戻って、より良い画像を生成できることも意味します。

いずれにせよ、Google の Magic Editor がこのテーマについての議論を引き起こしたのと同じように、この機能は写真の定義についてさらに多くの疑問を引き起こす可能性があります。