סקירה כללית על LiteRT-LM

‫LiteRT-LM הוא מסגרת קוד פתוח להסקת מסקנות שמוכנה לייצור, ומיועדת לפריסות של מודלים מסוג LLM בפלטפורמות שונות במכשירי קצה עם ביצועים גבוהים.

• תמיכה בפלטפורמות שונות: אפשר להפעיל את התכונה ב-Android, ב-iOS, באינטרנט, במחשב וב-IoT (לדוגמה, Raspberry Pi).
• האצת חומרה: כדי להשיג ביצועים אופטימליים ויציבות מערכת, אפשר להשתמש במאיצי GPU ו-NPU בחומרה מגוונת.
• מולטי-מודאליות: פיתוח באמצעות מודלים גדולים של שפה (LLM) עם תמיכה בראייה ובאודיו.
• שימוש בכלים: תמיכה בהפעלת פונקציות בתהליכי עבודה של סוכנים עם פענוח מוגבל לשיפור הדיוק.
• תמיכה במגוון רחב של מודלים: הפעלת Gemma, ‏ Llama, ‏ Phi-4, ‏ Qwen ועוד.

הדגמה של AI גנרטיבי במכשיר

גלריית Google AI Edge היא אפליקציה ניסיונית שנועדה להציג יכולות מבוססות-AI גנרטיבי במכשיר, שפועלות באופן מלא אופליין באמצעות LiteRT-LM.

• ‫Google Play: שימוש ב-LLM באופן מקומי במכשירי Android נתמכים.
• ‫App Store: תוכלו ליהנות מ-AI במכשיר במכשיר iOS.
• מקור ב-GitHub: אפשר לראות את קוד המקור של אפליקציית הגלריה כדי ללמוד איך לשלב את LiteRT-LM בפרויקטים שלכם.

הדגם המומלץ: Gemma-4-E2B

• גודל המודל: 2.58GB

• פרטים טכניים נוספים זמינים בכרטיס המודל של HuggingFace

  פלטפורמה (מכשיר)	בק-אנד	מילוי מראש (tk/s)	פענוח (tk/s)	הזמן עד לטוקן הראשון (בשניות)	זיכרון CPU בשיא (MB)
  ‫Android (S26 Ultra)	מעבד (CPU)	557	47	1.8	1733
  	GPU	3808	52	0.3	676
  ‫iOS (אייפון 17 פרו)	מעבד (CPU)	532	25	1.9	607
  	GPU	2878	56	0.3	1450
  ‫Linux (Arm 2.3 & 2.8 GHz, NVIDIA GeForce RTX 4090)	מעבד (CPU)	260	35	4	1628
  	GPU	11234	143	0.1	913
  macOS (MacBook Pro M4)	מעבד (CPU)	901	42	1.1	736
  	GPU	7835	160	0.1	1623
  IoT (Raspberry Pi 5 16GB)	מעבד (CPU)	133	8	7.8	1546

אני רוצה להתחיל לפתח

בקטעי הקוד הבאים אפשר לראות איך להתחיל להשתמש ב-CLI של LiteRT-LM, וגם בממשקי API של Python,‏ Kotlin ו-C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

פלטפורמות ושרתי קצה נתמכים

מודלים נתמכים

בטבלה הבאה מפורטים הדגמים שנתמכים על ידי LiteRT-LM. לנתוני ביצועים מפורטים יותר ולכרטיסי מודל, אפשר להיכנס לקהילת LiteRT ב-Hugging Face.

בעיות בדיווח

אם נתקלתם בבאג או שיש לכם הגשת בקשה להוספת תכונה, אתם יכולים לדווח על כך ב-LiteRT-LM GitHub Issues.