mistral.rs

用 Rust 快速跑大模型，本地部署低延迟

mistral.rs 是一个用 Rust 编写的高性能、灵活的 LLM 推理引擎，旨在提供快速且可定制的模型推理服务。它解决了在本地或云端高效运行大型语言模型的问题，支持多种主流模型架构（如 Mistral、Llama、Gemma 等），并提供量化、流式输出、OpenAI 兼容 API 等核心能力。其设计强调易用性和可扩展性，允许开发者通过简单的配置快速部署模型，并利用 Rust 的内存安全和并发优势实现低延迟推理。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 7614
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队EricLBuehler
所属国家
官网地址
GitHubhttps://github.com/EricLBuehler/mistral.rs
定价模式free
价格说明开源项目，MIT许可证，完全免费，需自行部署。
访问状态
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型llm,rust,uqff
GitHub 星标★ 7614
30天Star增速
HF 下载量
上线时间2024-02-26 00:00:00
最近更新2026-08-19 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

核心亮点

  • 推理速度快，基于 Rust 实现，内存安全且并发性能强
  • 支持多种模型架构和量化格式，灵活适配不同硬件
  • 提供 OpenAI 兼容 API，易于集成到现有应用

不足之处

  • 项目较新，生态和文档相对不成熟
  • Rust 学习曲线陡峭，对新手开发者不友好

适用场景

  • 本地私有化部署 LLM，保障数据隐私
  • 边缘设备或资源受限环境下的推理
  • 需要低延迟响应的实时对话或生成场景

替代项目

llama.cpp、vLLM、Candle

项目介绍

mistral.rs 是一个开源模型领域的开源项目，官方简介：Fast, flexible LLM inference。项目使用 Rust 开发，在 GitHub 上获得 7580 星标。

上一篇：lmdeploy

下一篇：MegaParse

同类项目推荐

ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma ···

★ 178973 2026-08-09
OpenMemory 开源

AI 工具共用一份记忆，关掉重开照样记得你

Local persistent memory store for LLM applications including claude desktop, github ···

★ 4449 2026-08-09
litellm 开源

一个网关接入所有大模型，告别接口乱、成本散、监控难

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in Ope···

★ 56760 2026-08-09
vllm 开源

同一个模型跑出几倍速度，机器成本省一半

A high-throughput and memory-efficient inference and serving engine for LLMs

★ 89457 2026-08-09