Gemini Nano

Gemini Nano позволяет создавать многофункциональные приложения на основе генеративного ИИ без необходимости подключения к сети или отправки данных в облако. ИИ, работающий непосредственно на устройстве, — отличное решение для случаев, когда ключевыми факторами являются низкая стоимость и защита конфиденциальности.

Для задач, выполняемых непосредственно на устройстве, можно воспользоваться базовой моделью Google Gemini Nano. Gemini Nano работает в рамках системной службы AICore Android , которая использует аппаратное обеспечение устройства для обеспечения низкой задержки при выполнении вычислений и поддерживает модель в актуальном состоянии.

API GenAI для ML Kit

API GenAI от ML Kit используют возможности Gemini Nano, чтобы помочь вашим приложениям выполнять задачи. Эти API обеспечивают высокое качество работы для популярных сценариев использования благодаря высокоуровневому интерфейсу. API GenAI от ML Kit построены на основе AICore, системной службы Android, которая позволяет запускать базовые модели GenAI на устройстве для реализации таких функций, как расширенная функциональность приложений и повышение конфиденциальности пользователей за счет локальной обработки данных. Подробнее .

Основные характеристики

API-интерфейсы ML Kit GenAI поддерживают следующие функции:

  • Подсказка : Сгенерировать текстовое содержимое на основе пользовательской текстовой или мультимодальной подсказки.
  • Подведение итогов : Представьте краткое содержание статей или разговоров в виде маркированного списка.
  • Корректура : Проверка коротких сообщений в чате на наличие ошибок.
  • Переписывание : Переписывание коротких сообщений в чате в другом тоне или стиле.
  • Описание изображения : Сгенерируйте краткое описание заданного изображения.
  • Распознавание речи : преобразование устной речи в текст.

Архитектура с использованием AICore

Как модуль системного уровня, AICore доступен через ряд API для выполнения инференции на устройстве. Кроме того, AICore имеет несколько встроенных функций безопасности, обеспечивающих тщательную проверку на соответствие нашим фильтрам безопасности. На следующей диаграмме показано, как приложение получает доступ к AICore для запуска Gemini Nano на устройстве.

Диаграмма, показывающая, как приложение для Android использует SDK Google AI Edge для доступа к AICore, где управляются и запускаются функции Gemini Nano, LoRA и безопасности, на аппаратных ускорителях.
Рисунок 1. AICore служит интерфейсом между вашим приложением и моделью Gemini Nano, управляя обновлениями модели и безопасностью, используя при этом аппаратные средства устройства.

Обеспечьте конфиденциальность и безопасность пользовательских данных.

Генеративный ИИ, работающий непосредственно на устройстве, выполняет запросы локально, исключая обращения к серверу. Хотя это устраняет задержку в сети, скорость вывода зависит от аппаратного обеспечения устройства. Такой подход повышает конфиденциальность, сохраняя конфиденциальные данные на устройстве, обеспечивает работу в автономном режиме и снижает затраты на вывод.

AICore придерживается принципов частного вычислительного ядра и обладает следующими ключевыми характеристиками:

  • Ограниченная привязка пакетов : AICore изолирован от большинства других пакетов, за исключением некоторых системных пакетов. Любые изменения в этом разрешенном списке могут быть внесены только во время полного обновления Android по воздуху (OTA).
  • Непрямой доступ в Интернет : AICore не имеет прямого доступа в Интернет. Все запросы к Интернету, включая загрузку моделей, направляются через APK-файл, являющийся дополнением к Private Compute Services . API в рамках Private Compute Services должны явно демонстрировать свою ориентированность на конфиденциальность.

Кроме того, AICore разработан таким образом, чтобы изолировать каждый запрос и не хранит никаких записей о входных данных или результирующих выходных данных после их обработки, чтобы защитить конфиденциальность пользователя. Подробнее можно узнать в статье блога «Введение в конфиденциальность и безопасность Gemini Nano» .

Подробная архитектурная схема AICore, показывающая поток запросов: API-интерфейс, обработка входных данных с использованием сигналов безопасности, конфигурация функций, среда выполнения с весами модели и LoRA, а также обработка выходных данных с использованием сигналов безопасности. Также показана загрузка моделей через частные вычислительные сервисы.
Рисунок 2. Архитектура AICore управляет безопасностью ввода и вывода, обработкой запросов и весами модели, обеспечивая безопасную среду для ИИ на устройстве.

Преимущества доступа к базовым моделям ИИ с помощью AICore

AICore позволяет операционной системе Android предоставлять и управлять базовыми моделями искусственного интеллекта. Это значительно снижает затраты на использование этих больших моделей в вашем приложении, главным образом по следующим причинам:

  • Простота развертывания : AICore управляет распространением Gemini Nano и обрабатывает будущие обновления. Вам не нужно беспокоиться о загрузке или обновлении больших моделей по сети, а также о влиянии на дисковый и оперативный бюджет вашего приложения.
  • Ускоренное выполнение вычислений : AICore использует аппаратные средства устройства для ускорения выполнения вычислений. Ваше приложение получает максимальную производительность на каждом устройстве, и вам не нужно беспокоиться о базовых аппаратных интерфейсах.