LiteRT-LM là gì? Chạy model AI offline cho Android bằng Python (2026)

AIAndroid

Trong bài này
  1. Cần chuẩn bị
  2. Bước 1: LiteRT-LM là gì?
  3. Bước 2: Cài LiteRT-LM bằng pip
  4. Bước 3: Chọn model và đúng file .litertlm
  5. Bước 4: Tải model về máy bằng litert-lm import
  6. Bước 5: Hỏi model bằng tiếng Việt
  7. Bước 6: Đo tốc độ bằng litert-lm benchmark
  8. Bước 7: Gọi model từ code Python
  9. Bước 8: Mở API tương thích OpenAI bằng litert-lm serve
  10. Bước 9: Đưa model vào app Android bằng Kotlin
  11. Lỗi thường gặp
  12. Câu hỏi thường gặp
  13. LiteRT-LM khác Ollama thế nào?
  14. Có cần GPU hay tài khoản Google không?
  15. Model nào nên dùng cho app thật?
  16. Dữ liệu có bị gửi lên mạng không?
  17. Nguồn tham khảo

Các bạn học Android chắc đã thấy nhiều app quảng cáo "AI chạy offline, không cần mạng". Phía sau rất nhiều app như vậy của Google là LiteRT-LM, bộ chạy model ngôn ngữ ngay trên thiết bị (on-device). Trong bài này mình sẽ cài LiteRT-LM, tải một model nhỏ 0,8 tỉ tham số, hỏi nó bằng tiếng Việt, đo tốc độ, gọi từ code Python và mở API giống OpenAI. Cuối bài là đoạn Kotlin để đưa cùng model đó vào app Android.

Toàn bộ lệnh trong bài mình chạy thật ngày 21/11/2026 với litert-lm 0.19.2 trên một máy Linux chỉ có 4 CPU, không có GPU. Làm theo mất khoảng 15–20 phút, phần lớn là thời gian tải model khoảng 1 GB.

Video demo trên kênh Huy Nguyen - Android A - Z.

Cần chuẩn bị

  • Máy tính có Python 3.10 trở lên. Mình thử trên Linux. Theo tài liệu chính thức, CLI và Python API cũng chạy trên macOS và Windows, nhưng mình chưa thử hai hệ điều hành này.
  • Khoảng 2 GB trống trên ổ cứng và 4 GB RAM trở lên.
  • Mạng internet ở lần tải model đầu tiên. Sau đó model chạy hoàn toàn offline.
  • Không cần tài khoản, không cần API key, không cần GPU.

Bước 1: LiteRT-LM là gì?

LiteRT là tên mới của TensorFlow Lite, còn LiteRT-LM là lớp chạy model ngôn ngữ (LLM) dựng trên LiteRT. Cùng một file model đuôi .litertlm chạy được trên Android, iOS, web, máy tính và Raspberry Pi, dùng CPU, GPU hoặc NPU tùy thiết bị. App mẫu Google AI Edge Gallery trên Google Play cũng dùng LiteRT-LM để chạy model AI hoàn toàn offline.

Trang LiteRT-LM Overview trên Google for Developers, mục lục bên trái có CLI, Python, Kotlin, Swift
Bước 1: trang tổng quan LiteRT-LM, có hướng dẫn cho CLI, Python, Kotlin, Swift, Web, C++.

Nếu các bạn đã đọc bài Ollama hay GGUF và llama.cpp trên blog thì LiteRT-LM cùng mục đích: chạy model ngay trên máy. Điểm khác là LiteRT-LM có sẵn thư viện Kotlin cho Android và được Google tối ưu cho GPU, NPU của điện thoại.

Bước 2: Cài LiteRT-LM bằng pip

Tạo môi trường ảo rồi cài hai gói: litert-lm là công cụ dòng lệnh, litert-lm-api là thư viện Python. Trên máy mình, lệnh cài chạy xong trong khoảng 7 giây.

python -m venv venv
source venv/bin/activate        # Windows: venv\Scripts\activate
pip install litert-lm litert-lm-api
litert-lm --version
Terminal cài litert-lm 0.19.2 bằng pip và danh sách lệnh run, benchmark, serve, import
Bước 2: cài xong, litert-lm --help liệt kê các lệnh run, benchmark, serve, import.

Bước 3: Chọn model và đúng file .litertlm

Model đã chuyển sẵn sang định dạng LiteRT-LM nằm ở trang litert-community trên Hugging Face. Mình chọn Qwen3.5-0.8B (giấy phép Apache-2.0, không cần đăng nhập). Một repo có nhiều file cho từng phiên bản và phần cứng. Theo bảng trong model card, với litert-lm 0.19.x chạy trên CPU thì dùng file Qwen3.5-0.8B_int8.litertlm (965 MB).

Tab Files and versions của repo litert-community/Qwen3.5-0.8B, khung đỏ quanh file Qwen3.5-0.8B_int8.litertlm
Bước 3: trong tab "Files and versions", chép đúng tên file Qwen3.5-0.8B_int8.litertlm.

Model nổi bật nhất cho điện thoại hiện nay là Gemma 4 E2B (file 2,58 GB, cũng Apache-2.0). Mình không chạy Gemma 4 trong bài vì máy thử nghiệm yếu. Lệnh tải và chạy y hệt, chỉ đổi tên repo và tên file.

Bước 4: Tải model về máy bằng litert-lm import

Lệnh import tải file từ Hugging Face và đặt cho nó một tên ngắn, ở đây là qwen35-08b. Model được lưu trong thư mục ~/.litert-lm/models của bạn (trong ảnh là /work vì đó là thư mục home của máy thử).

litert-lm import --from-huggingface-repo litert-community/Qwen3.5-0.8B \
    Qwen3.5-0.8B_int8.litertlm qwen35-08b
litert-lm list
Terminal tải file Qwen3.5-0.8B_int8.litertlm 920 MiB và lệnh litert-lm list hiện model qwen35-08b
Bước 4: tải xong, litert-lm list hiện model qwen35-08b nặng 920 MB.

Bước 5: Hỏi model bằng tiếng Việt

Dùng run với --prompt để hỏi một câu rồi thoát. Bỏ --prompt thì vào chế độ chat liên tục. Mình thêm --thinking false vì model card cảnh báo chế độ suy nghĩ (thinking) không giới hạn có thể lặp mãi với câu hỏi ngắn, và --cpu-thread-count 4 cho đúng số CPU của máy.

litert-lm run qwen35-08b --cpu-thread-count 4 --thinking false \
    --prompt "Giải thích ngắn gọn bằng tiếng Việt: Activity trong Android là gì?"
Câu trả lời tiếng Việt của Qwen3.5 0.8B về Activity, phần Activity Fragment và Activity View được tô đỏ vì sai
Bước 5: trả lời trong khoảng 10 giây kể cả nạp model, nhưng có chi tiết bịa (tô đỏ).

Câu đầu tiên đúng ý, nhưng "Activity Fragment" và "Activity View" là bịa, Android không có hai khái niệm này. Đây là điều các bạn phải nhớ khi dùng model nhỏ: nó viết tiếng Việt trôi chảy nhưng hay sai kiến thức. Model nhỏ hợp với việc tóm tắt, viết lại câu, phân loại văn bản có sẵn hơn là hỏi kiến thức.

Bước 6: Đo tốc độ bằng litert-lm benchmark

Lệnh benchmark cho model đọc 256 token và viết 256 token rồi báo tốc độ. Prefill là tốc độ đọc prompt, decode là tốc độ sinh câu trả lời, con số quyết định người dùng phải chờ bao lâu.

litert-lm benchmark qwen35-08b --cpu-thread-count 4
Kết quả litert-lm benchmark: prefill 562.95 tokens/s, decode 31.75 tokens/s, time to first token 0.49 giây
Bước 6: trên máy 4 CPU, decode khoảng 32 token/giây, chờ token đầu tiên chưa đến nửa giây.

Khoảng 32 token mỗi giây là đủ nhanh để chat. Để so sánh, trang LiteRT-LM công bố Gemma 4 E2B đạt 47 token/giây trên CPU của Samsung S26 Ultra. Đó là model khác và máy khác, nên các bạn chỉ xem như con số tham khảo, muốn biết chính xác thì chạy benchmark trên máy của mình.

Bước 7: Gọi model từ code Python

Khi muốn đưa model vào chương trình của mình thì dùng thư viện litert_lm. Engine nạp model, Conversation giữ lịch sử hội thoại, send_message_async trả về từng đoạn chữ để in dần ra màn hình.

import time
import litert_lm

litert_lm.set_min_log_severity(litert_lm.LogSeverity.ERROR)

MODEL = "/work/.litert-lm/models/qwen35-08b/model.litertlm"  # đổi thành đường dẫn trên máy bạn

t0 = time.time()
with litert_lm.Engine(MODEL, backend=litert_lm.Backend.CPU()) as engine:
    print(f"[Nạp model mất {time.time() - t0:.1f} giây]")
    messages = [litert_lm.Message.system(
        "Bạn là trợ giảng môn lập trình Android. Trả lời bằng tiếng Việt, tối đa 3 câu.")]
    with engine.create_conversation(messages=messages) as conversation:
        for question in [
            "Intent trong Android dùng để làm gì?",
            "Cho ví dụ một dòng Kotlin mở màn hình SecondActivity.",
        ]:
            print(f"\n>>> {question}")
            t1 = time.time()
            for chunk in conversation.send_message_async(question):
                print(chunk["content"][0]["text"], end="", flush=True)
            print(f"\n[Trả lời mất {time.time() - t1:.1f} giây]")
Code Python dùng litert_lm.Engine và kết quả hai câu hỏi về Intent, câu code Kotlin sai được tô đỏ
Bước 7: nạp model 5,2 giây, mỗi câu trả lời 1–2 giây. Dòng code Kotlin model đưa ra là sai.

Câu trả lời về Intent chung chung nhưng không sai. Dòng Kotlin thì sai: nó gọi startActivity trên tên lớp và mở nhầm MainActivity. Code đúng là startActivity(Intent(this, SecondActivity::class.java)). Một lần nữa, code do model nhỏ viết thì các bạn phải tự đọc và chạy thử.

Bước 8: Mở API tương thích OpenAI bằng litert-lm serve

Lệnh serve mở một server ở cổng 9379 với các đường dẫn giống OpenAI (/v1/models, /v1/chat/completions, /v1/embeddings). Nhờ vậy code đang gọi API ChatGPT có thể đổi sang model offline chỉ bằng cách đổi địa chỉ.

litert-lm serve &
curl -s localhost:9379/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"model": "qwen35-08b", "messages": [{"role": "user", "content": "Viết 1 câu giới thiệu Jetpack Compose bằng tiếng Việt."}]}'
Lệnh curl gọi /v1/chat/completions của litert-lm serve và JSON trả về có câu giới thiệu Jetpack Compose
Bước 8: server trả về JSON đúng dạng chat.completion của OpenAI, có cả số token đã dùng.

Câu trả lời nói Jetpack Compose chạy "trên Android và iOS". Thật ra Jetpack Compose là bộ giao diện của Android; chạy được cả iOS là Compose Multiplatform, một dự án khác của JetBrains. Lại một chi tiết các bạn cần kiểm tra.

Bước 9: Đưa model vào app Android bằng Kotlin

Trên Android, LiteRT-LM có gói Maven litertlm-android. Mình chưa build app trên điện thoại cho bài này, nên phần dưới đây lấy nguyên từ tài liệu Kotlin chính thức để các bạn biết bắt đầu từ đâu.

Tài liệu Kotlin của LiteRT-LM, khung đỏ quanh khối dependencies litertlm-android và litertlm-jvm
Bước 9: thêm thư viện litertlm-android vào file build.gradle.kts của module app.
// build.gradle.kts (module app)
dependencies {
    implementation("com.google.ai.edge.litertlm:litertlm-android:latest.release")
}

// Trong coroutine, không chạy trên UI thread (initialize có thể mất tới khoảng 10 giây)
val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.GPU(),
)
Engine(engineConfig).use { engine ->
    engine.initialize()
    engine.createConversation().use { conversation ->
        conversation.sendMessageAsync("Activity là gì?").collect { print(it) }
    }
}

Tài liệu lưu ý hai điều: muốn dùng GPU trên Android thì khai báo libOpenCL.so và libvndksupport.so bằng thẻ uses-native-library trong AndroidManifest.xml, và nên đặt cacheDir để lần nạp thứ hai nhanh hơn. File model gần 1 GB thì không nên đóng gói trong APK mà cho app tải về khi chạy lần đầu. App mã nguồn mở Google AI Edge Gallery trên GitHub là ví dụ đầy đủ nhất để tham khảo.

Lỗi thường gặp

HTTP 401 Unauthorized: một số repo như Gemma3-1B-IT bị khóa (gated), phải đăng nhập Hugging Face, đồng ý điều khoản rồi truyền token qua --huggingface-token hoặc biến môi trường HF_TOKEN. Nếu không muốn tạo tài khoản, chọn repo không khóa như Qwen3.5-0.8B hay Gemma 4. HTTP 404 Not Found: tên file gõ sai. Chép tên y nguyên từ tab "Files and versions", phân biệt chữ hoa chữ thường.

Hai lỗi khi tải model: HTTP 401 Unauthorized với repo Gemma3-1B-IT bị khóa và HTTP 404 khi gõ sai tên file
Lỗi 1 và 2: repo bị khóa cần token, tên file sai báo 404.

Invalid number of arguments for GatedDeltaUpdate / Failed to allocate tensors: file model mới hơn bộ chạy. File Qwen3.5-0.8B_mixed48_h1024.litertlm (nhỏ hơn, 487 MB) vừa được đăng ngày 20/11/2026 và cần LiteRT-LM từ 0.20.0, còn bản ổn định trên PyPI hôm nay là 0.19.2. Cách sửa: dùng file _int8 như trong bài, hoặc chờ bản 0.20.0.

Lỗi Invalid number of arguments for GatedDeltaUpdate khi chạy file mixed48_h1024 bằng litert-lm 0.19.2
Lỗi 3: file mixed48_h1024 không chạy trên litert-lm 0.19.2.

Model trả lời mãi không dừng: Qwen3.5 bật chế độ suy nghĩ theo mặc định, model card cảnh báo có thể lặp đến hết bộ nhớ ngữ cảnh. Thêm --thinking false hoặc --thinking-budget 256.

Câu hỏi thường gặp

LiteRT-LM khác Ollama thế nào?

Cả hai đều chạy model trên máy. Ollama chủ yếu cho máy tính và dùng định dạng GGUF. LiteRT-LM dùng file .litertlm, có thư viện chính thức cho Android, iOS và web, nên hợp khi các bạn muốn đưa AI vào app di động.

Có cần GPU hay tài khoản Google không?

Không. Toàn bộ bài này chạy trên 4 CPU, không đăng nhập. Chỉ các repo bị khóa trên Hugging Face mới cần token.

Model nào nên dùng cho app thật?

Theo bảng hiệu năng chính thức, Gemma 4 E2B (2,58 GB) là lựa chọn mạnh cho điện thoại tầm cao. Máy yếu hoặc cần app nhẹ thì thử model dưới 1 tỉ tham số như Qwen3.5-0.8B, nhưng phải kiểm tra kỹ câu trả lời như các bạn đã thấy ở bước 5 và 7.

Dữ liệu có bị gửi lên mạng không?

Sau khi tải model, mọi câu hỏi được xử lý trên máy. Lệnh serve mặc định chỉ nghe ở 127.0.0.1, nên máy khác trong mạng không gọi được nếu bạn không đổi --host.

Nguồn tham khảo

Ảnh chụp và thử nghiệm ngày 21/11/2026.

Ảnh Nguyễn Hữu Huy

Tác giả

Giảng viên Khoa Công nghệ Thông tin, Cao đẳng FPT Polytechnic

Thầy Huy dạy lập trình tại Cao đẳng FPT Polytechnic, chia sẻ kiến thức về Android, Unity/C#, AI và lập trình backend qua blog dotplays và kênh YouTube Thầy Huy One Champ. Tác giả các ứng dụng dotsave, getvidfb và taptik.