ollama-rs

Rust 里几行代码接入本地大模型

开源 free 开发框架

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1061

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类开发框架

开发团队pepperoni21

所属国家

官网地址

GitHubhttps://github.com/pepperoni21/ollama-rs

定价模式free

价格说明开源免费，遵循 MIT 许可证

访问状态

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型

GitHub 星标★ 1061

30天Star增速

HF 下载量

上线时间2023-11-02 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

ollama-rs 是一个用 Rust 编写的轻量级客户端库，用于与本地运行的 Ollama 服务进行交互。Ollama 本身让用户能在本机一键运行 Llama、Mistral、Phi 等大模型，而 ollama-rs 把它的 HTTP API 封装成符合 Rust 习惯的类型安全接口，解决开发者不想手写请求、解析 JSON、管理流式响应的问题。核心能力包括：同步与异步（tokio）两种调用方式、模型生成与对话补全、流式 token 输出、模型拉取/删除/列出、嵌入向量生成，以及结构化输出和工具调用支持。API 设计简洁，几乎一一对应 Ollama 官方接口，适合把本地大模型能力嵌入 Rust 后端服务、CLI 工具或桌面应用，无需依赖 Python 生态。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

已安装 Rust 与 Cargo 工具链
本机已安装并运行 Ollama 服务（用于实际调用 API）
网络可访问 crates.io 以拉取 ollama-rs 依赖

安装与启动步骤

1新建 Rust 项目

在空目录下创建一个新的 Cargo 二进制项目作为练习载体，若已有项目可跳过此步直接添加依赖。
```
cargo new my_ollama_app
cd my_ollama_app
```
2添加库依赖

README 的 Installation 章节说明在 Cargo.toml 的 [dependencies] 中加入 ollama-rs 即可，版本以 README 给出的 0.3.6 为例。
```
[dependencies]
ollama-rs = "0.3.6"
```
3改用 master 分支

README 提到如需最新版本，可把依赖改为 git 方式指向仓库 master 分支；README 中该行被截断，需自行补全完整仓库地址。
```
[dependencies]
ollama-rs = { git = "https://github.com/pepperoni21/ollama-rs" }
```
4启动 Ollama 服务

该库只是本地 Ollama 服务的客户端封装，实际调用前需保证本机 Ollama 已安装并处于运行状态。
5运行示例程序

README 的 Usage 章节指向仓库 ollama-rs/examples 下的示例，运行 basic_chatbot 可快速验证依赖是否可用。
```
cargo run --example basic_chatbot
```

关键配置

配置项	必填	说明	示例
`ollama-rs`	是	在 Cargo.toml 的 [dependencies] 中声明的库依赖及版本	`ollama-rs = "0.3.6"`
`ollama-rs (git)`	否	改用 master 分支获取最新代码时的依赖写法	`ollama-rs = { git = "https://github.com/pepperoni21/ollama-r`

如何确认成功

执行 cargo build 能成功拉取并编译依赖；运行 basic_chatbot 示例时能与本地 Ollama 服务完成一次对话并打印回复。

常见问题

Q：想用最新代码而不是发布版本怎么办？

A：按 README 说明把依赖改成 git 形式并指向仓库 master 分支，再重新 cargo build 即可。

Q：有可直接参考的代码示例吗？

A：有。仓库 ollama-rs/examples 目录下有 basic_chatbot.rs 等示例，可用 cargo run --example basic_chatbot 运行。

Q：示例代码报错处理很简单，能直接用于生产吗？

A：README 说明示例为了简洁使用了较差的错误处理，实际项目中需要自行妥善处理错误。

Q：支持流式输出吗？

A：支持。README 目录中列出了 Completion Generation (Streaming)、Create a Model (Streaming) 等流式用法章节。

注意事项

README 中 git 依赖那一行被截断，需自行补全完整的仓库地址。
本库只负责封装 Ollama HTTP API，模型能力依赖本机已运行的 Ollama 服务。
示例代码为简化使用了简单的错误处理，生产代码请完善错误处理。

核心亮点

同步/异步双 API，tokio 与阻塞场景都能直接用
类型安全封装生成、对话、嵌入、模型管理等完整接口
支持流式输出与结构化输出，方便做实时交互应用

不足之处

强依赖本地 Ollama 服务，无法直连云端模型
生态与示例相对新，复杂工具调用场景文档待观察

适用场景

Rust 后端服务中调用本地大模型做推理
开发本地 AI CLI 工具或桌面助手
在离线/隐私敏感环境里集成嵌入与问答能力

替代项目

ollama、llm-chain

上一篇：Ollama

下一篇：ollama-ai-provider-v2