LiteRT-LM là gì? Chạy model AI offline cho Android bằng Python (2026)
Trong bài này
- Cần chuẩn bị
- Bước 1: LiteRT-LM là gì?
- Bước 2: Cài LiteRT-LM bằng pip
- Bước 3: Chọn model và đúng file .litertlm
- Bước 4: Tải model về máy bằng litert-lm import
- Bước 5: Hỏi model bằng tiếng Việt
- Bước 6: Đo tốc độ bằng litert-lm benchmark
- Bước 7: Gọi model từ code Python
- Bước 8: Mở API tương thích OpenAI bằng litert-lm serve
- Bước 9: Đưa model vào app Android bằng Kotlin
- Lỗi thường gặp
- Câu hỏi thường gặp
- LiteRT-LM khác Ollama thế nào?
- Có cần GPU hay tài khoản Google không?
- Model nào nên dùng cho app thật?
- Dữ liệu có bị gửi lên mạng không?
- Nguồn tham khảo
Các bạn học Android chắc đã thấy nhiều app quảng cáo "AI chạy offline, không cần mạng". Phía sau rất nhiều app như vậy của Google là LiteRT-LM, bộ chạy model ngôn ngữ ngay trên thiết bị (on-device). Trong bài này mình sẽ cài LiteRT-LM, tải một model nhỏ 0,8 tỉ tham số, hỏi nó bằng tiếng Việt, đo tốc độ, gọi từ code Python và mở API giống OpenAI. Cuối bài là đoạn Kotlin để đưa cùng model đó vào app Android.
Toàn bộ lệnh trong bài mình chạy thật ngày 21/11/2026 với litert-lm 0.19.2 trên một máy Linux chỉ có 4 CPU, không có GPU. Làm theo mất khoảng 15–20 phút, phần lớn là thời gian tải model khoảng 1 GB.
Cần chuẩn bị
- Máy tính có Python 3.10 trở lên. Mình thử trên Linux. Theo tài liệu chính thức, CLI và Python API cũng chạy trên macOS và Windows, nhưng mình chưa thử hai hệ điều hành này.
- Khoảng 2 GB trống trên ổ cứng và 4 GB RAM trở lên.
- Mạng internet ở lần tải model đầu tiên. Sau đó model chạy hoàn toàn offline.
- Không cần tài khoản, không cần API key, không cần GPU.
Bước 1: LiteRT-LM là gì?
LiteRT là tên mới của TensorFlow Lite, còn LiteRT-LM là lớp chạy model ngôn ngữ (LLM) dựng trên LiteRT. Cùng một file model đuôi .litertlm chạy được trên Android, iOS, web, máy tính và Raspberry Pi, dùng CPU, GPU hoặc NPU tùy thiết bị. App mẫu Google AI Edge Gallery trên Google Play cũng dùng LiteRT-LM để chạy model AI hoàn toàn offline.

Nếu các bạn đã đọc bài Ollama hay GGUF và llama.cpp trên blog thì LiteRT-LM cùng mục đích: chạy model ngay trên máy. Điểm khác là LiteRT-LM có sẵn thư viện Kotlin cho Android và được Google tối ưu cho GPU, NPU của điện thoại.
Bước 2: Cài LiteRT-LM bằng pip
Tạo môi trường ảo rồi cài hai gói: litert-lm là công cụ dòng lệnh, litert-lm-api là thư viện Python. Trên máy mình, lệnh cài chạy xong trong khoảng 7 giây.
python -m venv venv
source venv/bin/activate # Windows: venv\Scripts\activate
pip install litert-lm litert-lm-api
litert-lm --version

litert-lm --help liệt kê các lệnh run, benchmark, serve, import.Bước 3: Chọn model và đúng file .litertlm
Model đã chuyển sẵn sang định dạng LiteRT-LM nằm ở trang litert-community trên Hugging Face. Mình chọn Qwen3.5-0.8B (giấy phép Apache-2.0, không cần đăng nhập). Một repo có nhiều file cho từng phiên bản và phần cứng. Theo bảng trong model card, với litert-lm 0.19.x chạy trên CPU thì dùng file Qwen3.5-0.8B_int8.litertlm (965 MB).

Qwen3.5-0.8B_int8.litertlm.Model nổi bật nhất cho điện thoại hiện nay là Gemma 4 E2B (file 2,58 GB, cũng Apache-2.0). Mình không chạy Gemma 4 trong bài vì máy thử nghiệm yếu. Lệnh tải và chạy y hệt, chỉ đổi tên repo và tên file.
Bước 4: Tải model về máy bằng litert-lm import
Lệnh import tải file từ Hugging Face và đặt cho nó một tên ngắn, ở đây là qwen35-08b. Model được lưu trong thư mục ~/.litert-lm/models của bạn (trong ảnh là /work vì đó là thư mục home của máy thử).
litert-lm import --from-huggingface-repo litert-community/Qwen3.5-0.8B \
Qwen3.5-0.8B_int8.litertlm qwen35-08b
litert-lm list

litert-lm list hiện model qwen35-08b nặng 920 MB.Bước 5: Hỏi model bằng tiếng Việt
Dùng run với --prompt để hỏi một câu rồi thoát. Bỏ --prompt thì vào chế độ chat liên tục. Mình thêm --thinking false vì model card cảnh báo chế độ suy nghĩ (thinking) không giới hạn có thể lặp mãi với câu hỏi ngắn, và --cpu-thread-count 4 cho đúng số CPU của máy.
litert-lm run qwen35-08b --cpu-thread-count 4 --thinking false \
--prompt "Giải thích ngắn gọn bằng tiếng Việt: Activity trong Android là gì?"

Câu đầu tiên đúng ý, nhưng "Activity Fragment" và "Activity View" là bịa, Android không có hai khái niệm này. Đây là điều các bạn phải nhớ khi dùng model nhỏ: nó viết tiếng Việt trôi chảy nhưng hay sai kiến thức. Model nhỏ hợp với việc tóm tắt, viết lại câu, phân loại văn bản có sẵn hơn là hỏi kiến thức.
Bước 6: Đo tốc độ bằng litert-lm benchmark
Lệnh benchmark cho model đọc 256 token và viết 256 token rồi báo tốc độ. Prefill là tốc độ đọc prompt, decode là tốc độ sinh câu trả lời, con số quyết định người dùng phải chờ bao lâu.
litert-lm benchmark qwen35-08b --cpu-thread-count 4

Khoảng 32 token mỗi giây là đủ nhanh để chat. Để so sánh, trang LiteRT-LM công bố Gemma 4 E2B đạt 47 token/giây trên CPU của Samsung S26 Ultra. Đó là model khác và máy khác, nên các bạn chỉ xem như con số tham khảo, muốn biết chính xác thì chạy benchmark trên máy của mình.
Bước 7: Gọi model từ code Python
Khi muốn đưa model vào chương trình của mình thì dùng thư viện litert_lm. Engine nạp model, Conversation giữ lịch sử hội thoại, send_message_async trả về từng đoạn chữ để in dần ra màn hình.
import time
import litert_lm
litert_lm.set_min_log_severity(litert_lm.LogSeverity.ERROR)
MODEL = "/work/.litert-lm/models/qwen35-08b/model.litertlm" # đổi thành đường dẫn trên máy bạn
t0 = time.time()
with litert_lm.Engine(MODEL, backend=litert_lm.Backend.CPU()) as engine:
print(f"[Nạp model mất {time.time() - t0:.1f} giây]")
messages = [litert_lm.Message.system(
"Bạn là trợ giảng môn lập trình Android. Trả lời bằng tiếng Việt, tối đa 3 câu.")]
with engine.create_conversation(messages=messages) as conversation:
for question in [
"Intent trong Android dùng để làm gì?",
"Cho ví dụ một dòng Kotlin mở màn hình SecondActivity.",
]:
print(f"\n>>> {question}")
t1 = time.time()
for chunk in conversation.send_message_async(question):
print(chunk["content"][0]["text"], end="", flush=True)
print(f"\n[Trả lời mất {time.time() - t1:.1f} giây]")

Câu trả lời về Intent chung chung nhưng không sai. Dòng Kotlin thì sai: nó gọi startActivity trên tên lớp và mở nhầm MainActivity. Code đúng là startActivity(Intent(this, SecondActivity::class.java)). Một lần nữa, code do model nhỏ viết thì các bạn phải tự đọc và chạy thử.
Bước 8: Mở API tương thích OpenAI bằng litert-lm serve
Lệnh serve mở một server ở cổng 9379 với các đường dẫn giống OpenAI (/v1/models, /v1/chat/completions, /v1/embeddings). Nhờ vậy code đang gọi API ChatGPT có thể đổi sang model offline chỉ bằng cách đổi địa chỉ.
litert-lm serve &
curl -s localhost:9379/v1/chat/completions -H "Content-Type: application/json" \
-d '{"model": "qwen35-08b", "messages": [{"role": "user", "content": "Viết 1 câu giới thiệu Jetpack Compose bằng tiếng Việt."}]}'

Câu trả lời nói Jetpack Compose chạy "trên Android và iOS". Thật ra Jetpack Compose là bộ giao diện của Android; chạy được cả iOS là Compose Multiplatform, một dự án khác của JetBrains. Lại một chi tiết các bạn cần kiểm tra.
Bước 9: Đưa model vào app Android bằng Kotlin
Trên Android, LiteRT-LM có gói Maven litertlm-android. Mình chưa build app trên điện thoại cho bài này, nên phần dưới đây lấy nguyên từ tài liệu Kotlin chính thức để các bạn biết bắt đầu từ đâu.

litertlm-android vào file build.gradle.kts của module app.// build.gradle.kts (module app)
dependencies {
implementation("com.google.ai.edge.litertlm:litertlm-android:latest.release")
}
// Trong coroutine, không chạy trên UI thread (initialize có thể mất tới khoảng 10 giây)
val engineConfig = EngineConfig(
modelPath = "/path/to/your/model.litertlm",
backend = Backend.GPU(),
)
Engine(engineConfig).use { engine ->
engine.initialize()
engine.createConversation().use { conversation ->
conversation.sendMessageAsync("Activity là gì?").collect { print(it) }
}
}
Tài liệu lưu ý hai điều: muốn dùng GPU trên Android thì khai báo libOpenCL.so và libvndksupport.so bằng thẻ uses-native-library trong AndroidManifest.xml, và nên đặt cacheDir để lần nạp thứ hai nhanh hơn. File model gần 1 GB thì không nên đóng gói trong APK mà cho app tải về khi chạy lần đầu. App mã nguồn mở Google AI Edge Gallery trên GitHub là ví dụ đầy đủ nhất để tham khảo.
Lỗi thường gặp
HTTP 401 Unauthorized: một số repo như Gemma3-1B-IT bị khóa (gated), phải đăng nhập Hugging Face, đồng ý điều khoản rồi truyền token qua --huggingface-token hoặc biến môi trường HF_TOKEN. Nếu không muốn tạo tài khoản, chọn repo không khóa như Qwen3.5-0.8B hay Gemma 4. HTTP 404 Not Found: tên file gõ sai. Chép tên y nguyên từ tab "Files and versions", phân biệt chữ hoa chữ thường.

Invalid number of arguments for GatedDeltaUpdate / Failed to allocate tensors: file model mới hơn bộ chạy. File Qwen3.5-0.8B_mixed48_h1024.litertlm (nhỏ hơn, 487 MB) vừa được đăng ngày 20/11/2026 và cần LiteRT-LM từ 0.20.0, còn bản ổn định trên PyPI hôm nay là 0.19.2. Cách sửa: dùng file _int8 như trong bài, hoặc chờ bản 0.20.0.

Model trả lời mãi không dừng: Qwen3.5 bật chế độ suy nghĩ theo mặc định, model card cảnh báo có thể lặp đến hết bộ nhớ ngữ cảnh. Thêm --thinking false hoặc --thinking-budget 256.
Câu hỏi thường gặp
LiteRT-LM khác Ollama thế nào?
Cả hai đều chạy model trên máy. Ollama chủ yếu cho máy tính và dùng định dạng GGUF. LiteRT-LM dùng file .litertlm, có thư viện chính thức cho Android, iOS và web, nên hợp khi các bạn muốn đưa AI vào app di động.
Có cần GPU hay tài khoản Google không?
Không. Toàn bộ bài này chạy trên 4 CPU, không đăng nhập. Chỉ các repo bị khóa trên Hugging Face mới cần token.
Model nào nên dùng cho app thật?
Theo bảng hiệu năng chính thức, Gemma 4 E2B (2,58 GB) là lựa chọn mạnh cho điện thoại tầm cao. Máy yếu hoặc cần app nhẹ thì thử model dưới 1 tỉ tham số như Qwen3.5-0.8B, nhưng phải kiểm tra kỹ câu trả lời như các bạn đã thấy ở bước 5 và 7.
Dữ liệu có bị gửi lên mạng không?
Sau khi tải model, mọi câu hỏi được xử lý trên máy. Lệnh serve mặc định chỉ nghe ở 127.0.0.1, nên máy khác trong mạng không gọi được nếu bạn không đổi --host.
Nguồn tham khảo
- LiteRT-LM Overview (Google AI Edge)
- LiteRT-LM CLI
- LiteRT-LM Python API
- LiteRT-LM Kotlin API cho Android
- Gemma 4 trên LiteRT-LM
- Model card litert-community/Qwen3.5-0.8B
- Gói litert-lm trên PyPI
- Mã nguồn LiteRT-LM trên GitHub
- Google AI Edge Gallery (app Android mẫu)
Ảnh chụp và thử nghiệm ngày 21/11/2026.