Ringkasan LiteRT-LM

LiteRT-LM adalah framework inferensi open source yang siap produksi dan dirancang untuk memberikan deployment LLM lintas platform berperforma tinggi di perangkat edge.

• Dukungan Lintas Platform: Berjalan di Android, iOS, Web, Desktop, dan IoT (misalnya Raspberry Pi).
• Akselerasi Hardware: Dapatkan performa puncak dan stabilitas sistem dengan memanfaatkan akselerator GPU dan NPU di berbagai hardware.
• Multi-Modalitas: Bangun dengan LLM yang memiliki dukungan audio dan visual.
• Penggunaan Alat: Dukungan panggilan fungsi untuk alur kerja agentik dengan decoding terbatas untuk meningkatkan akurasi.
• Dukungan Model Luas: Jalankan Gemma, Llama, Phi-4, Qwen, dan lainnya.

Demo GenAI di Perangkat

Google AI Edge Gallery adalah aplikasi eksperimental yang dirancang untuk mendemonstrasikan kemampuan AI Generatif di perangkat yang berjalan sepenuhnya offline menggunakan LiteRT-LM.

• Google Play: Menggunakan LLM secara lokal di perangkat Android yang didukung.
• App Store: Nikmati AI di perangkat di perangkat iOS Anda.
• Sumber GitHub: Lihat kode sumber untuk aplikasi galeri guna mempelajari cara mengintegrasikan LiteRT-LM dalam project Anda sendiri.

Model Unggulan: Gemma-4-E2B

• Ukuran Model: 2,58 GB

• Detail teknis tambahan ada di kartu model HuggingFace

  Platform (Perangkat)	Backend	Isi otomatis (tk/s)	Decode (tk/s)	Waktu hingga Token Pertama (detik)	Memori CPU Puncak (MB)
  Android (S26 Ultra)	CPU	557	47	1,8	1733
  	GPU	3808	52	0,3	676
  iOS (iPhone 17 Pro)	CPU	532	25	1.9	607
  	GPU	2878	56	0,3	1450
  Linux (Arm 2,3 & 2,8 GHz, NVIDIA GeForce RTX 4090)	CPU	260	35	4	1628
  	GPU	11234	143	0,1	913
  macOS (MacBook Pro M4)	CPU	901	42	1.1	736
  	GPU	7835	160	0,1	1623
  IoT (Raspberry Pi 5 16GB)	CPU	133	8	7.8	1546

Mulai Membangun

Cuplikan berikut menunjukkan cara memulai CLI LiteRT-LM, serta API Python, Kotlin, dan C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Backend & Platform yang Didukung

Model yang Didukung

Tabel berikut mencantumkan model yang didukung oleh LiteRT-LM. Untuk mengetahui angka performa dan kartu model yang lebih mendetail, buka Komunitas LiteRT di Hugging Face.

Melaporkan Masalah

Jika Anda menemukan bug atau memiliki permintaan fitur, laporkan di Masalah GitHub LiteRT-LM.