Gemini Nano מאפשר לכם לספק חוויות עשירות של AI גנרטיבי בלי חיבור לרשת או שליחת נתונים לענן. AI במכשיר הוא פתרון מצוין לתרחישי שימוש שבהם העלות הנמוכה ואמצעי ההגנה על הפרטיות הם השיקולים העיקריים.
לתרחישי שימוש במכשיר, אפשר להשתמש במודל הבסיסי Gemini Nano של Google. Gemini Nano פועל בשירות המערכת AICore של Android, שמנצל את החומרה של המכשיר כדי לאפשר זמן אחזור נמוך של הסקת מסקנות ולשמור על עדכניות המודל.
ML Kit GenAI APIs
ממשקי ה-API של AI גנרטיבי ב-ML Kit מנצלים את היכולות של Gemini Nano כדי לעזור לאפליקציות שלכם לבצע משימות. ממשקי ה-API האלה מספקים איכות גבוהה מחוץ לקופסה לתרחישי שימוש פופולריים באמצעות ממשק ברמה גבוהה. ממשקי ה-API של AI גנרטיבי ב-ML Kit מבוססים על AICore, שירות מערכת של Android שמאפשר הפעלה במכשיר של מודלים בסיסיים של AI גנרטיבי. כך אפשר להשתמש בתכונות כמו שיפור הפונקציונליות של האפליקציה ושיפור פרטיות המשתמשים באמצעות עיבוד נתונים מקומי. מידע נוסף
תכונות עיקריות
ממשקי ה-API של GenAI ב-ML Kit תומכים בתכונות הבאות:
- הנחיה: יצירת תוכן טקסט על סמך הנחיה מותאמת אישית שמורכבת מטקסט בלבד או מהנחיה מולטי-מודאלית.
- סיכום: סיכום מאמרים או שיחות כרשימה עם תבליטים.
- הגהה: הגהה של הודעות קצרות בצ'אט.
- שכתוב: שכתוב של הודעות קצרות בצ'אט בטונים או בסגנונות שונים.
- תיאור התמונה: יצירת תיאור קצר של תמונה מסוימת.
- זיהוי דיבור: תמלול של אודיו של דיבור לטקסט.
ארכיטקטורה באמצעות AICore
כמודול ברמת המערכת, אתם ניגשים ל-AICore דרך סדרה של ממשקי API כדי להריץ הסקה במכשיר. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית בהתאם למסנני הבטיחות שלנו. הדיאגרמה הבאה מתארת איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.
שמירה על הפרטיות והאבטחה של נתוני המשתמשים
AI גנרטיבי במכשיר מבצע הנחיות באופן מקומי, וכך לא נדרשות קריאות לשרת. הפעולה הזו אמנם מסירה את זמן האחזור ברשת, אבל מהירות ההסקה תלויה בחומרה של המכשיר. הגישה הזו משפרת את הפרטיות כי הנתונים הרגישים נשמרים במכשיר, מאפשרת שימוש בתכונות במצב אופליין ומפחיתה את עלויות ההסקה.
AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:
- קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. שינויים ברשימת ההיתרים הזו יכולים להתבצע רק במהלך עדכון מלא של Android OTA.
- גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות באינטרנט, כולל הורדות של מודלים, מנותבות דרך קובץ ה-APK הנלווה של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services צריכים להציג באופן מפורש את האופי שלהם שמתמקד בפרטיות.
בנוסף, AICore מתוכנן לבודד כל בקשה, ולא לשמור רשומה של נתוני הקלט או של הפלט שמתקבל אחרי העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולאבטחה ב-Gemini Nano.
היתרונות של גישה למודלים בסיסיים של AI באמצעות AICore
AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להפחית משמעותית את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל הסיבות הבאות:
- פריסה קלה: AICore מנהל את ההפצה של Gemini Nano ומטפל בעדכונים עתידיים. לא צריך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, וגם לא לגבי השפעה על התקציב של הדיסק והזיכרון בזמן הריצה של האפליקציה.
- הסקת מסקנות מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את הסקת המסקנות. האפליקציה שלכם תפעל בצורה הכי טובה בכל מכשיר, ולא תצטרכו לדאוג לממשקי החומרה הבסיסיים.