llm

用 Rust 玩转大模型，但已停止维护

这是一个用 Rust 编写的、用于处理大型语言模型的库生态系统，但目前已不再维护（详见 README）。它旨在为 Rust 开发者提供一套工具，以便更方便地构建、运行和与 LLM 交互。该项目包含多个子库，覆盖了模型推理、提示词处理、API 客户端等核心功能，解决了 Rust 生态中缺乏成熟 LLM 支持的问题。虽然项目已停止维护，但其设计思路和代码仍对 Rust 社区有参考价值。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 6156

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队rustformers

所属国家

官网地址

GitHubhttps://github.com/rustformers/llm

定价模式free

价格说明开源项目，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型ai,ggml,llm,ml,rust

GitHub 星标★ 6156

30天Star增速

HF 下载量

上线时间2023-03-13 00:00:00

最近更新2026-09-20 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数1

使用教程

难度：进阶约 20 分钟部署方式：命令行工具 7 步

环境要求

Rust 工具链（cargo/rustup），cargo bin 目录已加入 PATH
自行下载 GGML 格式的模型文件（如 RedPajama-INCITE-Base-3B-v1-q4_0.bin）
如需 CUDA/OpenCL/Metal 加速，编译时必须开启对应 feature
使用 -r 从 Hugging Face 加载 tokenizer 时需要联网

安装与启动步骤

1从源码安装 CLI

README 推荐方式，安装 main 分支最新功能到 cargo bin 目录，完成后可直接用 llm 命令。
```
cargo install --git https://github.com/rustformers/llm llm-cli
```
2或用 cargo 安装

安装已发布版本，但 README 说明该版本已过时、不含最新模型支持，不推荐。
```
cargo install llm-cli
```
3准备模型文件

README 示例使用 RedPajama GGML 模型，需自行从给出的 Hugging Face 地址下载到本地。

4运行推理

-a 指定模型架构，-m 指定本地模型路径，-p 为提示词，-r 可选、从远程仓库加载 tokenizer。

llm infer -a gptneox -m RedPajama-INCITE-Base-3B-v1-q4_0.bin -p "Rust is a cool programming language because" -r togethercomputer/RedPajama-INCITE-Base-3B-v1

5查看帮助

想了解 llm CLI 的全部参数，用 --help 查看，README 明确推荐这种方式。
```
llm --help
```

6跑调试示例

仓库自带的简单推理示例，便于调试，参数与 CLI 类似但不用写 -a/-m 选项名。

cargo run --release --example inference gptneox RedPajama-INCITE-Base-3B-v1-q4_0.bin -r $OPTIONAL_VOCAB_REPO -p $OPTIONAL_PROMPT

7可选 Docker 构建

README 指出 Dockerfile 位于 utils 目录，NixOS 的 flake 清单在项目根目录。

关键配置

配置项	必填	说明	示例
`-a`	是	指定模型架构，示例为 gptneox。	`gptneox`
`-m`	是	本地模型文件路径，必填参数。	`RedPajama-INCITE-Base-3B-v1-q4_0.bin`
`-p`	是	评估用的提示词，必填参数。	`Rust is a cool programming language because`
`-r`	否	从 Hugging Face 仓库加载 tokenizer，通常比从模型文件加载效果更好。	`togethercomputer/RedPajama-INCITE-Base-3B-v1`
`-v`	否	指定本地 tokenizer 文件的路径。	`/your/path/tokenizer.json`

如何确认成功

执行 llm --help 能正常输出帮助信息，或 llm infer 成功打印出提示词的补全文本。

常见问题

Q：应该用 cargo install llm-cli 还是从源码装？

A：README 明确说明已发布版本过时、不支持最新模型，推荐用 cargo install --git 从源码安装 main 分支。

Q：GPU 加速没有生效怎么办？

A：README 提示 CUDA、OpenCL、Metal 等 GPU 支持只有在编译时开启对应 feature 才可用。

Q：这个项目还值得用吗？

A：仓库已归档、不再维护。README 推荐改用 Ratchet、mistral.rs、kalosm 或 candle-transformers 等替代库。

Q：-r 参数会不会需要联网？

A：会。它会从远程 Hugging Face 仓库下载 tokenizer，离线时可改用 -v 指定本地 tokenizer 文件。

注意事项

项目已归档停止维护，不建议用于新项目，仅供参考设计思路与代码。
README 中的已发布版本缺少最新模型支持，务必从源码安装。
模型文件和 tokenizer 需自行准备，README 未提供统一的下载脚本。

核心亮点

纯 Rust 实现，性能与内存安全兼顾
模块化设计，可灵活组合各子库
提供多种 LLM 交互方式，如推理和 API 客户端

不足之处

项目已不再维护，存在功能停滞风险
文档和示例相对有限，上手门槛较高

适用场景

Rust 项目中集成 LLM 推理能力
构建高性能的 LLM 客户端应用
学习 Rust 与 LLM 结合的设计模式

替代项目

rust-bert、llm-chain、candle

项目介绍

llm 是开发框架领域的开源项目，由 rustformers 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（6,156）位列前 8%，在开发框架分类的 803 个项目里位列前 9%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-20。完全免费，可自行部署使用。

它主要面向的使用场景是：Rust项目中集成LLM推理能力。同类可对比的替代方案包括 rust-bert、llm-chain、candle。

上一篇：fragments

下一篇：tree-of-thought-llm

llm