
mistral.rs
用 Rust 快速跑大模型,本地部署低延迟
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7848
使用教程
环境要求
- Linux / macOS / Windows 均可使用(各平台有对应的安装脚本)
- 标准加速无需预先安装 Rust 或 CUDA 工具链,安装脚本会下载自包含的预编译二进制
- 可选 cuTile 加速需要额外单独安装 NVIDIA 的 tileiras 工具
- Windows 平台的预编译二进制为 CPU 版本
安装与启动步骤
-
1安装(Linux/macOS)
执行官方安装脚本,自动下载对应平台的自包含预编译二进制(Apple Silicon 用 Metal,Linux 按 GPU 用 CUDA 或 CPU)。
curl -fsSL https://mistralrs.dev/install.sh | sh -
2安装(Windows)
在 PowerShell 中执行官方安装脚本,Windows 平台下载的是 CPU 版预编译二进制。
irm https://mistralrs.dev/install.ps1 | iex -
3运行本地 GGUF
用 -f 指定本地 GGUF 模型文件路径,README 示例路径为 /path/to/model.gguf,请替换成你自己的文件。
mistralrs run -f /path/to/model.gguf -
4运行已发布模型
用 -m 指定已发布模型仓库,并用 --quant 选择量化版本,示例为 4-bit GGUF。
mistralrs run -m unsloth/Qwen3.5-4B-GGUF --quant 4 -
5用配置文件运行
通过 from-config 读取生成的配置文件启动,示例文件名为 config.toml,需自行准备该文件。
mistralrs from-config -f config.toml
如何确认成功
命令执行后终端开始输出模型推理结果且无报错即启动成功;可先确认 mistralrs 命令可用。
常见问题
Q:需要先装 Rust 或 CUDA 工具链吗?
A:不需要。标准加速使用安装脚本下载的预编译二进制;只有可选的 cuTile 加速需要额外安装 NVIDIA 的 tileiras 工具。
Q:Windows 上怎么安装?
A:在 PowerShell 中执行:irm https://mistralrs.dev/install.ps1 | iex。Windows 预编译包为 CPU 版本。
Q:没有本地模型文件怎么办?
A:可以改用 -m 指定已发布模型并配合 --quant 选择量化,例如 mistralrs run -m unsloth/Qwen3.5-4B-GGUF --quant 4。
Q:如何用 Docker 部署?
A:项目已将预构建的 CPU 与 CUDA 镜像发布到 GHCR,具体拉取命令、标签和 Kubernetes 说明见官方 Docker 指南。
Q:config.toml 里该写什么?
A:README 未给出配置项说明,只演示了 mistralrs from-config -f config.toml 的用法,请查阅官方 Quickstart 文档了解配置格式。
注意事项
- 安装脚本找不到匹配的预编译二进制时会回退到源码构建。
- Docker 预构建镜像已发布到 GHCR,但 README 未给出具体 docker pull 命令,请以官方 Docker 指南为准。
- 使用 from-config 前需自行准备好 config.toml,README 未列出其配置项。
- 完整安装说明、加速器细节和其他平台支持见官方 Quickstart 文档。
核心亮点
- 推理速度快,基于 Rust 实现,内存安全且并发性能强
- 支持多种模型架构和量化格式,灵活适配不同硬件
- 提供 OpenAI 兼容 API,易于集成到现有应用
不足之处
- 项目较新,生态和文档相对不成熟
- Rust 学习曲线陡峭,对新手开发者不友好
适用场景
- 本地私有化部署 LLM,保障数据隐私
- 边缘设备或资源受限环境下的推理
- 需要低延迟响应的实时对话或生成场景
替代项目
llama.cpp、vLLM、Candle
同类项目推荐
ESEILANE
开源
为 AI 和 LLM 打造的高性能知识图谱引擎,让 GraphRAG 更快更聪明。
High-performance Knowledge Graph engine for AI, LLMs, and GraphRAG — built for the ···
great_expectations_action
开源
在CI中一键验证数据质量,让数据管道更可靠
A GitHub Action that makes it easy to use Great Expectations to validate your data p···
dualmark
开源
一个页面,两种形态,让 AI 和人类都能读懂你的内容。
Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···
Trae-Proxy
开源
把 OpenAI 请求灵活转发到任意后端,模型路由随心配。
An intelligent API proxy tool designed to intercept and redirect OpenAI API requests···
hpc-ops
开源
C++ 高性能 LLM 推理算子库,加速推理降延迟
High Performance LLM Inference Operator Library
kitops
开源
把 AI 模型打包成标准镜像,像管容器一样管 AI 资产
An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, ···
comfy-pack
开源
一键锁定打包 ComfyUI 环境,告别部署翻车
A comprehensive toolkit for reliably locking, packing and deploying environments for···
TensorRT-Model-Connect
开源
两条命令把 PyTorch 模型跑成 TensorRT 推理
From PyTorch model to end-to-end TensorRT inference experience in two commands—AI-n···
n8n-nodes-qdrant
开源
在 n8n 里拖拽连接 Qdrant,快速实现向量检索与 RAG。
Official n8n node for interfacing with Qdrant