项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-02 · 当前星标 ★ 3555
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 环境（用 uv 安装 Python 包）
- 已创建并激活的 Python 虚拟环境
- 能访问 PyPI 下载夜间构建的 wheel 包
安装与启动步骤
-
1准备虚拟环境
README 要求把包装进已激活的虚拟环境，先创建并激活，避免污染系统 Python。
python -m venv .venv source .venv/bin/activate -
2安装 LiteRT CLI
用 uv 把夜间版命令行工具装进当前激活的虚拟环境，包名为 litert-cli-nightly。
uv pip install litert-cli-nightly -
3查看命令帮助
运行帮助命令，确认 litert 可执行文件已正确注册到环境中。
litert --help -
4按平台接入运行时
模型转换与端侧运行时的接入方式，需按平台查阅官方 LiteRT Integration Overview 文档。
如何确认成功
执行 litert --help 能正常打印命令帮助且无报错，说明命令行工具安装成功。
常见问题
Q：Windows 上虚拟环境怎么激活？
A：在 PowerShell 中执行 .venv\Scripts\Activate.ps1，激活后再运行 uv pip install litert-cli-nightly。
Q：安装后提示找不到 litert 命令？
A：多为虚拟环境未激活或装到了其他环境，先确认已激活 .venv，再重新执行安装命令。
Q：有稳定版包名吗？
A：README 节选中只给出夜间版包名 litert-cli-nightly，未提供稳定版说明，请以官方文档为准。
Q：支持哪些硬件后端？
A：运行时通过 CPU（XNNPack）、GPU（ML Drift）以及受支持的 TPU/NPU 提供加速。
注意事项
- litert-cli-nightly 是夜间自动构建版本，稳定性弱于正式发布版，建议只在测试环境使用。
- README 的 Installation 章节只给概览链接，具体平台的集成细节必须查阅官方文档。
- 模型转换、量化与运行时部署是独立环节，CLI 安装成功不等于端侧推理环境已就绪。
核心亮点
- Google 官方维护，是 TensorFlow Lite 的正式继任者，路线与生态延续性强
- 提供转换、运行时、量化优化完整工具链，端到端覆盖模型落地流程
- 支持 CPU/GPU/NPU 多后端加速，面向手机与嵌入式等资源受限平台优化
不足之处
- 项目处于成长早期，星标约 3.5k，社区案例与第三方教程相对有限
- 生成式 AI 端侧部署能力较新，部分高级特性与硬件后端支持仍在完善中
- 文档与迁移指南对从 TFLite 过渡的开发者仍需更多实践积累
适用场景
- 手机端图像识别、语音唤醒等实时推理应用
- 嵌入式与 IoT 设备上的本地模型部署
- 对隐私和离线可用性要求高的端侧生成式 AI 应用
替代项目
ONNX Runtime、TensorFlow Lite、Apache TVM
下一篇：runntime
同类项目推荐
tiktoken-go
开源
在 Go 中轻松切分 token，精准控制 OpenAI 费用
go version of tiktoken
mistral.rs
开源
用 Rust 快速跑大模型，本地部署低延迟
Fast, flexible LLM inference
octelium
开源
一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透
A next-gen FOSS self-hosted unified zero trust secure access platform that can opera···
quokka
开源
让数据湖高效处理时序数据，写入查询都快
Making data lake work for time series
parallax
开源
把多台机器拼成一个AI超级服务器，轻松跑大模型
Parallax is a distributed model serving framework that lets you build your own AI cl···
liveblocks
开源
快速为应用和智能体添加实时协作能力，无需自研后端。
Realtime infrastructure for multiplayer apps and agents
FreeToken
开源
在桌面端跑起数据中心级大模型，又快又省资源
FreeToken brings datacenter-scale model serving to your desktop. Run massive models ···
agentops
开源
给 AI 智能体装上监控仪表盘，实时追踪成本与性能
Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integ···
turbovec
开源
用 Rust 和量化技术，让向量搜索又快又省内存
A vector index built on TurboQuant, written in Rust with Python bindings