llm

环境要求

• Rust 工具链（cargo/rustup），cargo bin 目录已加入 PATH
• 自行下载 GGML 格式的模型文件（如 RedPajama-INCITE-Base-3B-v1-q4_0.bin）
• 如需 CUDA/OpenCL/Metal 加速，编译时必须开启对应 feature
• 使用 -r 从 Hugging Face 加载 tokenizer 时需要联网

安装与启动步骤

1. 1从源码安装 CLI

   README 推荐方式，安装 main 分支最新功能到 cargo bin 目录，完成后可直接用 llm 命令。

   cargo install --git https://github.com/rustformers/llm llm-cli

   复制

2. 2或用 cargo 安装

   安装已发布版本，但 README 说明该版本已过时、不含最新模型支持，不推荐。

   cargo install llm-cli

   复制

3. 3准备模型文件

   README 示例使用 RedPajama GGML 模型，需自行从给出的 Hugging Face 地址下载到本地。

4. 4运行推理

   -a 指定模型架构，-m 指定本地模型路径，-p 为提示词，-r 可选、从远程仓库加载 tokenizer。

   llm infer -a gptneox -m RedPajama-INCITE-Base-3B-v1-q4_0.bin -p "Rust is a cool programming language because" -r togethercomputer/RedPajama-INCITE-Base-3B-v1

   复制

5. 5查看帮助

   想了解 llm CLI 的全部参数，用 --help 查看，README 明确推荐这种方式。

   llm --help

   复制

6. 6跑调试示例

   仓库自带的简单推理示例，便于调试，参数与 CLI 类似但不用写 -a/-m 选项名。

   cargo run --release --example inference gptneox RedPajama-INCITE-Base-3B-v1-q4_0.bin -r $OPTIONAL_VOCAB_REPO -p $OPTIONAL_PROMPT

   复制

7. 7可选 Docker 构建

   README 指出 Dockerfile 位于 utils 目录，NixOS 的 flake 清单在项目根目录。

关键配置

如何确认成功

执行 llm --help 能正常输出帮助信息，或 llm infer 成功打印出提示词的补全文本。

常见问题

注意事项

• 项目已归档停止维护，不建议用于新项目，仅供参考设计思路与代码。
• README 中的已发布版本缺少最新模型支持，务必从源码安装。
• 模型文件和 tokenizer 需自行准备，README 未提供统一的下载脚本。