mistral.rs

用 Rust 快速跑大模型,本地部署低延迟

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 769 🐛 待处理 431 👀 关注 46
GitHub ↗
GitHub 星标 ★ 7848
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署。

项目预览

mistral.rs 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队EricLBuehler
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型llm,rust,uqff
GitHub 星标★ 7848
上线时间2024-02-26 00:00:00
代码更新2026-11-09
仓库体积240.1 MB
本站数据更新2026-11-18
维护状态较活跃
收录时间2026-08-09
浏览次数7

项目介绍

mistral.rs 是一个用 Rust 编写的高性能、灵活的 LLM 推理引擎,旨在提供快速且可定制的模型推理服务。它解决了在本地或云端高效运行大型语言模型的问题,支持多种主流模型架构(如 Mistral、Llama、Gemma 等),并提供量化、流式输出、OpenAI 兼容 API 等核心能力。其设计强调易用性和可扩展性,允许开发者通过简单的配置快速部署模型,并利用 Rust 的内存安全和并发优势实现低延迟推理。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7848

技术标签

使用教程

难度:入门 约 10 分钟 部署方式:命令行工具 5 步

环境要求

  • Linux / macOS / Windows 均可使用(各平台有对应的安装脚本)
  • 标准加速无需预先安装 Rust 或 CUDA 工具链,安装脚本会下载自包含的预编译二进制
  • 可选 cuTile 加速需要额外单独安装 NVIDIA 的 tileiras 工具
  • Windows 平台的预编译二进制为 CPU 版本

安装与启动步骤

  1. 1安装(Linux/macOS)

    执行官方安装脚本,自动下载对应平台的自包含预编译二进制(Apple Silicon 用 Metal,Linux 按 GPU 用 CUDA 或 CPU)。

    curl -fsSL https://mistralrs.dev/install.sh | sh
  2. 2安装(Windows)

    在 PowerShell 中执行官方安装脚本,Windows 平台下载的是 CPU 版预编译二进制。

    irm https://mistralrs.dev/install.ps1 | iex
  3. 3运行本地 GGUF

    用 -f 指定本地 GGUF 模型文件路径,README 示例路径为 /path/to/model.gguf,请替换成你自己的文件。

    mistralrs run -f /path/to/model.gguf
  4. 4运行已发布模型

    用 -m 指定已发布模型仓库,并用 --quant 选择量化版本,示例为 4-bit GGUF。

    mistralrs run -m unsloth/Qwen3.5-4B-GGUF --quant 4
  5. 5用配置文件运行

    通过 from-config 读取生成的配置文件启动,示例文件名为 config.toml,需自行准备该文件。

    mistralrs from-config -f config.toml

如何确认成功

命令执行后终端开始输出模型推理结果且无报错即启动成功;可先确认 mistralrs 命令可用。

常见问题

Q:需要先装 Rust 或 CUDA 工具链吗?

A:不需要。标准加速使用安装脚本下载的预编译二进制;只有可选的 cuTile 加速需要额外安装 NVIDIA 的 tileiras 工具。

Q:Windows 上怎么安装?

A:在 PowerShell 中执行:irm https://mistralrs.dev/install.ps1 | iex。Windows 预编译包为 CPU 版本。

Q:没有本地模型文件怎么办?

A:可以改用 -m 指定已发布模型并配合 --quant 选择量化,例如 mistralrs run -m unsloth/Qwen3.5-4B-GGUF --quant 4。

Q:如何用 Docker 部署?

A:项目已将预构建的 CPU 与 CUDA 镜像发布到 GHCR,具体拉取命令、标签和 Kubernetes 说明见官方 Docker 指南。

Q:config.toml 里该写什么?

A:README 未给出配置项说明,只演示了 mistralrs from-config -f config.toml 的用法,请查阅官方 Quickstart 文档了解配置格式。

注意事项

  • 安装脚本找不到匹配的预编译二进制时会回退到源码构建。
  • Docker 预构建镜像已发布到 GHCR,但 README 未给出具体 docker pull 命令,请以官方 Docker 指南为准。
  • 使用 from-config 前需自行准备好 config.toml,README 未列出其配置项。
  • 完整安装说明、加速器细节和其他平台支持见官方 Quickstart 文档。

核心亮点

  • 推理速度快,基于 Rust 实现,内存安全且并发性能强
  • 支持多种模型架构和量化格式,灵活适配不同硬件
  • 提供 OpenAI 兼容 API,易于集成到现有应用

不足之处

  • 项目较新,生态和文档相对不成熟
  • Rust 学习曲线陡峭,对新手开发者不友好

适用场景

  • 本地私有化部署 LLM,保障数据隐私
  • 边缘设备或资源受限环境下的推理
  • 需要低延迟响应的实时对话或生成场景

替代项目

llama.cpp、vLLM、Candle

上一篇:lmdeploy

下一篇:MegaParse

同类项目推荐

ESEILANE 开源

为 AI 和 LLM 打造的高性能知识图谱引擎,让 GraphRAG 更快更聪明。

High-performance Knowledge Graph engine for AI, LLMs, and GraphRAG — built for the ···

★ 95 2026-08-09
great_expectations_action 开源

在CI中一键验证数据质量,让数据管道更可靠

A GitHub Action that makes it easy to use Great Expectations to validate your data p···

★ 86 2026-08-09
dualmark 开源

一个页面,两种形态,让 AI 和人类都能读懂你的内容。

Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···

★ 124 2026-08-09
Trae-Proxy 开源

把 OpenAI 请求灵活转发到任意后端,模型路由随心配。

An intelligent API proxy tool designed to intercept and redirect OpenAI API requests···

★ 196 2026-08-09
hpc-ops 开源

C++ 高性能 LLM 推理算子库,加速推理降延迟

High Performance LLM Inference Operator Library

★ 1191 2026-09-16
kitops 开源

把 AI 模型打包成标准镜像,像管容器一样管 AI 资产

An open source DevOps tool from the CNCF for packaging and versioning AI/ML models, ···

★ 1450 2026-08-09
comfy-pack 开源

一键锁定打包 ComfyUI 环境,告别部署翻车

A comprehensive toolkit for reliably locking, packing and deploying environments for···

★ 216 2026-08-09
TensorRT-Model-Connect 开源

两条命令把 PyTorch 模型跑成 TensorRT 推理

From PyTorch model to end-to-end TensorRT inference experience in two commands—AI-n···

★ 297 2026-10-24
n8n-nodes-qdrant 开源

在 n8n 里拖拽连接 Qdrant,快速实现向量检索与 RAG。

Official n8n node for interfacing with Qdrant

★ 78 2026-08-09