Gemini Nano umożliwia korzystanie z zaawansowanych funkcji generatywnej AI bez połączenia sieciowego i wysyłania danych do chmury. AI na urządzeniu to świetne rozwiązanie w przypadkach, gdy najważniejsze są niskie koszty i ochrona prywatności.
W przypadku zastosowań na urządzeniu możesz korzystać z modelu podstawowego Gemini Nano od Google. Gemini Nano działa w usłudze systemowej AICore na Androidzie, która wykorzystuje sprzęt urządzenia, aby zapewnić krótki czas oczekiwania na wnioskowanie i aktualizować model.
Interfejsy API ML Kit GenAI
Interfejsy API generatywnej AI w ML Kit wykorzystują moc modelu Gemini Nano, aby ułatwiać aplikacjom wykonywanie zadań. Te interfejsy API zapewniają gotową jakość w przypadku popularnych zastosowań dzięki interfejsowi wysokiego poziomu. Interfejsy ML Kit GenAI API są oparte na AICore, czyli usłudze systemowej Androida, która umożliwia wykonywanie na urządzeniu podstawowych modeli generatywnej AI, aby ułatwiać korzystanie z funkcji takich jak ulepszone funkcje aplikacji i większa prywatność użytkownika dzięki lokalnemu przetwarzaniu danych. Więcej informacji
Najważniejsze funkcje
Interfejsy ML Kit GenAI API obsługują te funkcje:
- Prompt: generowanie treści tekstowych na podstawie niestandardowego promptu multimodalnego lub promptu zawierającego tylko tekst.
- Podsumowywanie: podsumowywanie artykułów lub rozmów w formie listy punktowanej.
- Korekta: korekta krótkich wiadomości na czacie.
- Przepisywanie: przepisywanie krótkich wiadomości na czacie w różnych tonach lub stylach.
- Opis obrazu: wygeneruj krótki opis danego obrazu.
- Rozpoznawanie mowy: transkrypcja tekstu mówionego na tekst.
Architektura za pomocą AICore
AICore to moduł na poziomie systemu, do którego dostęp uzyskuje się za pomocą serii interfejsów API, aby przeprowadzać wnioskowanie na urządzeniu. Dodatkowo AICore ma kilka wbudowanych funkcji bezpieczeństwa, które zapewniają dokładną ocenę pod kątem naszych filtrów bezpieczeństwa. Poniższy diagram przedstawia, jak aplikacja uzyskuje dostęp do AICore, aby uruchomić Gemini Nano na urządzeniu.
Ochrona prywatności i bezpieczeństwo danych użytkownika
Generatywna AI na urządzeniu wykonuje prompty lokalnie, eliminując wywołania serwera. Chociaż eliminuje to opóźnienie sieci, szybkość wnioskowania zależy od sprzętu urządzenia. Takie podejście zwiększa prywatność, ponieważ dane wrażliwe są przechowywane na urządzeniu, umożliwia korzystanie z funkcji offline i obniża koszty wnioskowania.
AICore jest zgodny z zasadami Private Compute Core i ma te kluczowe cechy:
- Ograniczone powiązanie pakietów: AICore jest odizolowany od większości innych pakietów, z wyjątkiem niektórych pakietów systemowych. Wszelkie modyfikacje tej listy dozwolonych mogą być wprowadzane tylko podczas pełnej aktualizacji Androida OTA.
- Pośredni dostęp do internetu: AICore nie ma bezpośredniego dostępu do internetu. Wszystkie żądania internetowe, w tym pobieranie modeli, są kierowane przez powiązaną aplikację APK Private Compute Services o otwartym kodzie źródłowym. Interfejsy API w ramach usług Private Compute Services muszą wyraźnie wskazywać, że są zorientowane na ochronę prywatności.
Dodatkowo AICore jest tak skonstruowany, aby izolować każde żądanie. Po przetworzeniu danych wejściowych i uzyskanych wyników nie przechowuje żadnych rekordów, aby chronić prywatność użytkowników. Aby dowiedzieć się więcej, przeczytaj posta na blogu Wprowadzenie do prywatności i bezpieczeństwa w Gemini Nano.
Korzyści z dostępu do podstawowych modeli AI za pomocą AICore
AICore umożliwia systemowi operacyjnemu Android udostępnianie podstawowych modeli AI i zarządzanie nimi. Znacznie obniża to koszt korzystania z tych dużych modeli w aplikacji, głównie z tych powodów:
- Łatwość wdrażania: AICore zarządza dystrybucją Gemini Nano i przeprowadza przyszłe aktualizacje. Nie musisz się martwić pobieraniem ani aktualizowaniem dużych modeli przez sieć ani wpływem na budżet pamięci dyskowej i pamięci wykonawczej aplikacji.
- Przyspieszone wnioskowanie: AICore wykorzystuje sprzęt na urządzeniu do przyspieszania wnioskowania. Aplikacja działa optymalnie na każdym urządzeniu, a Ty nie musisz się martwić interfejsami sprzętowymi.