Telefony z Androidem i Gemini Nano mogą zyskać kolejną przydatną funkcję na urządzeniu

TL;DR

• Model Gemini Nano firmy Google będzie wkrótce mógł obsługiwać streszczenia artykułów na urządzeniach.
• Gemini Nano to zoptymalizowana pod kątem urządzeń mobilnych wersja wielkojęzycznego modelu Google Gemini.
• Seria Pixel 8 Pro i Galaxy S24 mają dostęp do Gemini Nano, które obsługuje podsumowania w aplikacji rejestratora Pixela.

Duże firmy technologiczne ścigają się, aby stworzyć najlepsze narzędzia generatywnej sztucznej inteligencji dla użytkowników, programistów i innych firm. Na przykład Google oferuje Gemini, który jest zarówno brandingiem ich chatbota AI, jak i leżącym u jego podstaw modelem dużego języka (LLM), który go napędza. Gemini LLM jest dostępny w trzech rozmiarach: Nano, Pro i Ultra. Tylko model Nano jest na tyle mały, że można go uruchomić lokalnie na zaawansowanych urządzeniach z Androidem, takich jak Pixel 8 Pro i seria Galaxy S24, podczas gdy pozostałe dwa modele działają na serwerach w chmurze Google. Niewielki rozmiar Nano w porównaniu do wersji Pro i Ultra oznacza, że ​​jego możliwości są ograniczone, ale nowe dowody sugerują, że model ten może zyskać jeszcze jedną interesującą funkcję.

Gemini Nano jest naprawdę przydatny tylko do analizy lub tworzenia małych bloków tekstu. Na przykład model Nano obsługuje obecnie tylko trzy funkcje sztucznej inteligencji w Pixelu 8 Pro: podsumowania krótkich nagrań AI w aplikacji Pixel Recorder, inteligentne odpowiedzi AI z Gboard podczas czatowania w WhatsApp oraz sugestie dotyczące przepisywania wiadomości AI w aplikacji Wiadomości Google. Model Google Gemini Nano obsługuje także kilka funkcji Galaxy AI dostępnych w serii Galaxy S24, takich jak Magic Compose.

Ponieważ aplikacje mogą wykorzystywać Gemini Nano za pośrednictwem interfejsu API, łatwo jest dodać nowe, oparte na nim funkcje sztucznej inteligencji. W rzeczywistości dowody widziane przez Władze Androida sugeruje, że Gemini Nano może wkrótce umożliwić streszczenia artykułów oparte na sztucznej inteligencji. W sierpniu Google dodał nową funkcję do swojego eksperymentalnego pakietu Search Generative Experience (SGE), która może generować kluczowe punkty dla każdej strony internetowej otwartej w aplikacji Google. Ta funkcja jest dostępna na każdym urządzeniu z Androidem, pod warunkiem, że użytkownik włączy opcję „SGE podczas przeglądania” w menu Laboratorium wyszukiwania w aplikacji Google.

Streszczenia artykułów AI w aplikacji Google. Kredyty: Mishaal Rahman

Obecnie ta funkcja podsumowania artykułów AI działa w chmurze, dlatego jest dostępna na wszystkich urządzeniach. Telefony obsługujące Gemini Nano, takie jak Pixel 8 Pro i Galaxy S24, mogą wkrótce mieć możliwość uruchomienia tej funkcji podsumowania artykułów AI na swoim urządzeniu, jeśli prawidłowo rozumiemy dowody. Aby zrozumieć dowody, najpierw musimy pokrótce wyjaśnić, jak Gemini Nano działa na Androidzie.

Zamiast samodzielnie łączyć aplikacje z Gemini Nano, nowa usługa AICore systemu Android obsługuje pobieranie modelu. Zmniejsza to wymagania dotyczące przechowywania, a także upraszcza dystrybucję i aktualizację modeli. Aplikacje mogą wykorzystywać Gemini Nano do wnioskowania na urządzeniu, korzystając z szeregu interfejsów API udostępnianych przez pakiet SDK AI Edge firmy Google. Jeden z tych interfejsów API umożliwia aplikacjom udostępnianie bloku LoRA (adaptacja niskiej rangi) w celu dostrojenia modelu Gemini Nano do konkretnego zadania.

Architektura AICore. Źródło: Google.

Ponieważ bezpieczeństwo IP i sztucznej inteligencji oparte na uczeniu maszynowym jest tak ważne, Google korzysta z interfejsów API bezpiecznego pobierania, aby przesyłać na urządzenia swój model Gemini Nano i bloki dostrajające LoRA. Te interfejsy API są udostępniane przez usługi Private Compute Services systemu Android. Private Compute Services to aplikacja typu open source udostępniająca interfejsy API do pobierania modeli uczenia maszynowego z chmury. Jest częścią Private Compute Core systemu Android i została stworzona w celu oddzielenia aplikacji Android System Intelligence — odpowiedzialnej za wiele funkcji opartych na sztucznej inteligencji — z Internetu.

Architektura prywatnego rdzenia obliczeniowego systemu Android. Źródło: Google.

Interfejs API używany przez AICore nazywa się Pobieranie chronione. Protected Download to interfejs API, który „umożliwia pobieranie zasobów na urządzenie z obsługą weryfikacji opartej na dzienniku przejrzystości binarnej, zapewniając, że są to oficjalne zasoby udostępnione przez Google”. Wygląda na to, że AICore korzysta z API Protected Download do pobierania modelu Gemini Nano, a także niektórych bloków dostrajających LoRA. Aplikacja AICore zawiera kilku „klientów” interfejsu API Protected Download, a ostatnio dodano nowego „klienta AICore” o nazwie „AI_CORE_CHROME_SUMMARIZATION_OUTPUT”.

Chociaż łatka, która dodała tego klienta „AI_CORE_CHROME_SUMMARIZATION_OUTPUT” nie ma opisu wyjaśniającego jego przeznaczenie, na podstawie nazwy i przeznaczenia interfejsu API zgadujemy, że aplikacja AICore wkrótce pobierze blok dostrajający LoRA, który optymalizuje Gemini Nano dla podsumowań artykułów AI. Możemy się mylić, chociaż rozsądnie byłoby, gdyby Gemini Nano obsługiwał podsumowania artykułów AI na urządzeniu. Przecież większość artykułów w sieci powinna być na tyle krótka, aby model Gemini Nano mógł je przetworzyć. Dla porównania Gemini Nano może podsumowywać transkrypcje Pixel Recorder o długości do 15 minut.

Jeśli mamy rację, mamy nadzieję, że Google wkrótce ogłosi tę funkcję, ponieważ lista funkcji AI na urządzeniach, którymi obsługuje Gemini Nano, jest obecnie dość krótka. Ponieważ ta funkcja podsumowania artykułów AI jest częścią aplikacji Google, mamy również nadzieję, że Google włączy ją w serii Galaxy S24, a nie tylko w Pixelu 8 Pro.