Gemini Nano

Gemini Nano ti consente di offrire esperienze di AI generativa avanzate senza la necessità di una connessione di rete o di inviare dati al cloud. L'AI on-device è un'ottima soluzione per i casi d'uso in cui i costi contenuti e le misure di salvaguardia della privacy sono le tue preoccupazioni principali.

Per i casi d'uso on-device, puoi sfruttare il foundation model Gemini Nano di Google. Gemini Nano viene eseguito nel servizio di sistema AICore di Android, che sfrutta l'hardware del dispositivo per consentire una bassa latenza di inferenza e mantenere aggiornato il modello.

API GenAI di ML Kit

Le API GenAI di ML Kit sfruttano la potenza di Gemini Nano per aiutare le tue app a eseguire attività. Queste API forniscono una qualità predefinita per i casi d'uso più comuni tramite un'interfaccia di alto livello. Le API GenAI di ML Kit sono basate su AICore, un servizio di sistema Android che consente l'esecuzione on-device dei foundation model di AI generativa per facilitare funzionalità come la funzionalità avanzata delle app e una maggiore privacy degli utenti elaborando i dati localmente. Scopri di più.

Funzionalità principali

Le API GenAI di ML Kit supportano le seguenti funzionalità:

Architettura tramite AICore

Come modulo a livello di sistema, puoi accedere ad AICore tramite una serie di API per eseguire l'inferenza on-device. Inoltre, AICore dispone di diverse funzionalità di sicurezza integrate, che garantiscono una valutazione approfondita rispetto ai nostri filtri di sicurezza. Il seguente diagramma illustra come un'app accede ad AICore per eseguire Gemini Nano on-device.

Un diagramma che mostra come un'app per Android utilizza l'SDK Google AI Edge per accedere ad AICore, dove vengono gestite ed eseguite Gemini Nano, LoRA e le funzionalità di sicurezza sugli acceleratori hardware.
Figura 1. AICore funge da interfaccia tra l'app e il modello Gemini Nano, gestendo gli aggiornamenti e la sicurezza dei modelli e sfruttando l'hardware on-device.

Mantieni i dati utente privati e al sicuro

L'AI generativa on-device esegue i prompt localmente, eliminando le chiamate al server. Sebbene questo elimini la latenza di rete, la velocità di inferenza dipende dall'hardware del dispositivo. Questo approccio migliora la privacy mantenendo i dati sensibili sul dispositivo, consente la funzionalità offline e riduce i costi di inferenza.

AICore rispetta i principi di Private Compute Core, con le seguenti caratteristiche principali:

  • Associazione di pacchetti limitata: AICore è isolato dalla maggior parte degli altri pacchetti, con limitate eccezioni per pacchetti di sistema specifici. Eventuali modifiche a questo elenco consentito possono essere apportate solo durante un aggiornamento OTA completo di Android.
  • Accesso indiretto a internet: AICore non ha accesso diretto a internet. Tutte le richieste internet, inclusi i download dei modelli, vengono instradate tramite l'APK complementare open source Private Compute Services. Le API all'interno di Private Compute Services devono dimostrare esplicitamente la loro natura incentrata sulla privacy.

Inoltre, AICore è progettato per isolare ogni richiesta e non memorizza alcun record dei dati di input o degli output risultanti dopo l'elaborazione per proteggere la privacy degli utenti. Per saperne di più, leggi il post del blog An Introduction to Privacy and Safety for Gemini Nano.

Un diagramma dell'architettura dettagliato di AICore che mostra il flusso delle richieste: superficie API, elaborazione dell'input con indicatori di sicurezza, configurazione delle funzionalità, runtime con pesi del modello e LoRA ed elaborazione dell'output con indicatori di sicurezza. Mostra anche i download dei modelli tramite Private Compute Services.
Figura 2. L'architettura AICore gestisce la sicurezza di input e output, l'elaborazione delle richieste e i pesi dei modelli per fornire un ambiente sicuro per l'AI on-device.

Vantaggi dell'accesso ai foundation model di AI con AICore

AICore consente al sistema operativo Android di fornire e gestire i foundation model di AI. Ciò riduce notevolmente il costo dell'utilizzo di questi modelli di grandi dimensioni nella tua app, principalmente per i seguenti motivi:

  • Facilità di deployment: AICore gestisce la distribuzione di Gemini Nano e gestisce gli aggiornamenti futuri. Non devi preoccuparti di scaricare o aggiornare modelli di grandi dimensioni sulla rete, né dell'impatto sul budget di memoria di runtime e su disco della tua app.
  • Inferenza accelerata: AICore sfrutta l'hardware on-device per accelerare l'inferenza. La tua app offre le migliori prestazioni su ogni dispositivo e non devi preoccuparti delle interfacce hardware sottostanti.