LiteRT-LM

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• README 未给出安装命令，建议先阅读官网 CLI 文档：https://ai.google.dev/edge/litert-lm/cli
• 可运行的目标设备：Linux、macOS、Windows 或 Raspberry Pi
• 使用 --backend=gpu 时，设备需具备可用的 GPU 加速能力
• 从 HuggingFace 拉取模型需要可联网（示例仓库 litert-community/gemma-4-E4B-it-litert-lm）
• 如需在自有应用中集成，需下载对应平台的 C API 预编译库

安装与启动步骤

1. 1查看官方 CLI 文档

   README 未直接提供 litert-lm 命令行工具的安装方式，先访问官网 CLI 页面确认安装步骤，再执行后续命令。

2. 2下载 C API 预编译库

   v0.16.0 起提供首个版本化 C API 共享库预编译包，覆盖所有受支持平台，可用于原生集成或自行封装语言绑定。

   curl -L -o litert_lm_c_api-0.1.0.zip https://github.com/google-ai-edge/LiteRT-LM/releases/download/v0.16.0/litert_lm_c_api-0.1.0.zip

   复制

3. 3跑通 CLI 推理示例

   用 litert-lm run 从 HuggingFace 仓库拉取 Gemma4-E4B 模型并推理，指定 GPU 后端并开启推测解码。

   litert-lm run \
      --from-huggingface-repo=litert-community/gemma-4-E4B-it-litert-lm \
      gemma-4-E4B-it.litertlm \
      --backend=gpu \
      --enable-speculative-decoding=true \
      --prompt="What is the capital of France?"

   复制

4. 4体验网页 Demo

   若只想快速看效果、不做本地部署，可直接打开 README 中给出的官方 Web Demo 在线试用。

关键配置

如何确认成功

终端开始输出模型对 --prompt 的回答内容，即表示 CLI 已成功加载模型并完成推理。

常见问题

注意事项

• README 节选中没有安装步骤，本教程的步骤基于 CLI 示例、C API 预编译发布与官网链接推断，执行前请先阅读官方 CLI 文档。
• 示例命令中的 --prompt 内容 README 被截断，可按需替换成自己的提示词。
• --backend=gpu 与 --enable-speculative-decoding=true 都是可选配置，请按设备实际能力取舍。
• YNNPACK delegate 为实验性功能，生产环境慎用。