Gemini Nano

Gemini Nano की मदद से, जनरेटिव एआई की बेहतर सुविधाएं इस्तेमाल की जा सकती हैं. इसके लिए, आपको नेटवर्क कनेक्शन की ज़रूरत नहीं होती. साथ ही, डेटा को क्लाउड पर भेजने की भी ज़रूरत नहीं होती. डिवाइस पर मौजूद एआई, उन मामलों में एक बेहतरीन समाधान है जहां कम लागत और निजता की सुरक्षा आपकी मुख्य चिंताएं हैं.

डिवाइस पर इस्तेमाल किए जाने वाले मामलों के लिए, Google के Gemini Nano फ़ाउंडेशन मॉडल का फ़ायदा लिया जा सकता है. Gemini Nano, Android की AICore सिस्टम सेवा में काम करता है. यह डिवाइस के हार्डवेयर का इस्तेमाल करता है, ताकि कम समय में नतीजे मिल सकें. साथ ही, यह मॉडल को अप-टू-डेट रखता है.

ML Kit GenAI API

ML Kit के GenAI API, Gemini Nano की मदद से आपके ऐप्लिकेशन को टास्क पूरा करने में मदद करते हैं. ये एपीआई, लोकप्रिय इस्तेमाल के उदाहरणों के लिए, बेहतर क्वालिटी वाले समाधान उपलब्ध कराते हैं. इसके लिए, ये एक हाई-लेवल इंटरफ़ेस का इस्तेमाल करते हैं. ML Kit GenAI API, AICore पर बनाए गए हैं. AICore, Android सिस्टम की एक सेवा है. यह जनरेटिव एआई के बुनियादी मॉडल को डिवाइस पर चलाने की सुविधा देती है. इससे ऐप्लिकेशन की बेहतर सुविधाओं और उपयोगकर्ता की निजता को बेहतर बनाने में मदद मिलती है. ऐसा, डेटा को स्थानीय तौर पर प्रोसेस करके किया जाता है. ज़्यादा जानें.

मुख्य सुविधाएं

ML Kit के GenAI API में ये सुविधाएं काम करती हैं:

  • प्रॉम्प्ट: सिर्फ़ टेक्स्ट वाले कस्टम प्रॉम्प्ट या मल्टीमॉडल प्रॉम्प्ट के आधार पर टेक्स्ट कॉन्टेंट जनरेट करें.
  • खास जानकारी: लेखों या बातचीत की खास जानकारी को बुलेट वाली सूची के तौर पर दिखाएं.
  • प्रूफ़रीडिंग: छोटे चैट मैसेज की प्रूफ़रीडिंग करें.
  • फिर से लिखना: छोटे चैट मैसेज को अलग-अलग टोन या स्टाइल में फिर से लिखो.
  • इमेज के बारे में जानकारी: किसी इमेज के बारे में कम शब्दों में जानकारी जनरेट करें.
  • बोली को पहचानना: बोली को टेक्स्ट में ट्रांसक्राइब करना.

AICore की मदद से आर्किटेक्चर

सिस्टम-लेवल मॉड्यूल के तौर पर, AICore को कई एपीआई के ज़रिए ऐक्सेस किया जाता है, ताकि डिवाइस पर अनुमान लगाया जा सके. इसके अलावा, AICore में पहले से मौजूद कई सुरक्षा सुविधाएं हैं. इनसे यह पक्का किया जाता है कि सुरक्षा फ़िल्टर के हिसाब से पूरी तरह से आकलन किया गया हो. इस डायग्राम में बताया गया है कि कोई ऐप्लिकेशन, डिवाइस पर Gemini Nano को चलाने के लिए AICore को कैसे ऐक्सेस करता है.

इस डायग्राम में दिखाया गया है कि Android ऐप्लिकेशन, Google AI Edge SDK का इस्तेमाल करके AICore को कैसे ऐक्सेस करता है. AICore में Gemini Nano, LoRA, और सुरक्षा से जुड़ी सुविधाओं को मैनेज किया जाता है. साथ ही, इन्हें हार्डवेयर ऐक्सलरेटर पर चलाया जाता है.
पहली इमेज. AICore, आपके ऐप्लिकेशन और Gemini Nano मॉडल के बीच इंटरफ़ेस का काम करता है. यह मॉडल के अपडेट और सुरक्षा को मैनेज करता है. साथ ही, डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करता है.

उपयोगकर्ता के डेटा को निजी और सुरक्षित बनाए रखना

डिवाइस पर मौजूद जनरेटिव एआई, प्रॉम्प्ट को स्थानीय तौर पर प्रोसेस करता है. इससे सर्वर कॉल की ज़रूरत नहीं पड़ती. इससे नेटवर्क की वजह से होने वाली देरी कम हो जाती है. हालांकि, अनुमान लगाने की स्पीड, डिवाइस के हार्डवेयर पर निर्भर करती है. इस तरीके से, डिवाइस पर संवेदनशील डेटा को सुरक्षित रखकर निजता को बेहतर बनाया जाता है. साथ ही, ऑफ़लाइन काम करने की सुविधा चालू की जाती है और अनुमान लगाने की लागत कम की जाती है.

AICore, Private Compute Core के सिद्धांतों का पालन करता है. इसकी मुख्य विशेषताएं यहां दी गई हैं:

  • पैकेज बाइंडिंग पर पाबंदी: AICore को ज़्यादातर अन्य पैकेज से अलग रखा जाता है. हालांकि, कुछ सिस्टम पैकेज के लिए इसमें सीमित अपवाद होते हैं. इस सूची में सिर्फ़ Android के पूरे ओटीए अपडेट के दौरान बदलाव किया जा सकता है.
  • इंटरनेट का इनडायरेक्ट ऐक्सेस: AICore के पास सीधे तौर पर इंटरनेट का ऐक्सेस नहीं होता. इंटरनेट से जुड़े सभी अनुरोध, ओपन-सोर्स Private Compute Services के कंपैनियन APK के ज़रिए रूट किए जाते हैं. इनमें मॉडल डाउनलोड करने के अनुरोध भी शामिल हैं. Private Compute Services में मौजूद एपीआई को साफ़ तौर पर यह बताना होगा कि वे निजता को ध्यान में रखकर बनाए गए हैं.

इसके अलावा, AICore को इस तरह से बनाया गया है कि यह हर अनुरोध को अलग-अलग प्रोसेस करता है. साथ ही, यह उपयोगकर्ता की निजता को सुरक्षित रखने के लिए, इनपुट डेटा या प्रोसेस किए गए डेटा का कोई रिकॉर्ड सेव नहीं करता. ज़्यादा जानने के लिए, Gemini Nano के लिए निजता और सुरक्षा के बारे में जानकारी ब्लॉग पोस्ट पढ़ें.

AICore का आर्किटेक्चर डायग्राम, जिसमें अनुरोध का फ़्लो दिखाया गया है:
    एपीआई सरफेस, सुरक्षा से जुड़े सिग्नल के साथ इनपुट प्रोसेसिंग, सुविधा कॉन्फ़िगरेशन,
    मॉडल वेट और LoRA के साथ रनटाइम, और सुरक्षा से जुड़े सिग्नल के साथ आउटपुट प्रोसेसिंग. इसमें Private Compute Services के ज़रिए मॉडल डाउनलोड करने की जानकारी भी दिखती है.
दूसरी इमेज. AICore आर्किटेक्चर, इनपुट और आउटपुट की सुरक्षा, अनुरोध को प्रोसेस करने, और मॉडल के वेट को मैनेज करता है. इससे डिवाइस पर एआई को सुरक्षित माहौल मिलता है.

AICore की मदद से एआई फ़ाउंडेशन मॉडल ऐक्सेस करने के फ़ायदे

AICore की मदद से, Android OS को एआई फ़ाउंडेशन मॉडल उपलब्ध कराने और उन्हें मैनेज करने की सुविधा मिलती है. इससे आपके ऐप्लिकेशन में इन बड़े मॉडल का इस्तेमाल करने की लागत काफ़ी कम हो जाती है. इसकी मुख्य वजहें ये हैं:

  • आसानी से डिप्लॉय किया जा सकता है: AICore, Gemini Nano के डिस्ट्रिब्यूशन को मैनेज करता है. साथ ही, आने वाले अपडेट को भी मैनेज करता है. आपको नेटवर्क पर बड़े मॉडल डाउनलोड या अपडेट करने की ज़रूरत नहीं है. साथ ही, आपके ऐप्लिकेशन के डिस्क और रनटाइम मेमोरी बजट पर भी कोई असर नहीं पड़ेगा.
  • तेज़ी से अनुमान लगाना: AICore, डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करके, तेज़ी से अनुमान लगाता है. आपका ऐप्लिकेशन हर डिवाइस पर सबसे अच्छी परफ़ॉर्मेंस देता है. साथ ही, आपको हार्डवेयर इंटरफ़ेस के बारे में चिंता करने की ज़रूरत नहीं होती.