mistral-inference

官方推理库，快速跑通 Mistral 模型，省心部署

mistral-inference 是 Mistral AI 官方发布的推理库，用于加载和运行 Mistral 系列大语言模型。它解决了开发者在使用 Mistral 模型时面临的部署复杂、推理效率低等问题，提供了从模型下载、加载、分词到生成文本的完整工具链。核心能力包括支持多种 Mistral 模型架构（如 Mistral 7B、Mixtral 8x7B 等），提供高效的 KV 缓存和批量推理优化，并支持模型量化以降低显存占用。该库基于 PyTorch 实现，接口简洁，适合快速集成到现有 Python 项目中，同时支持本地和云端部署。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 10825

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队mistralai

所属国家

官网地址https://mistral.ai

GitHubhttps://github.com/mistralai/mistral-inference

定价模式free

价格说明开源推理库，Apache-2.0 许可，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Jupyter Notebook

技术栈/模型llm,llm-inference,mistralai

GitHub 星标★ 10825

30天Star增速

HF 下载量

上线时间2023-09-27 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 40 分钟部署方式：库/依赖 6 步

环境要求

一块可用的 GPU（README 明确指出：安装 mistral-inference 需要 xformers，而 xformers 安装本身需要 GPU）
安装 xformers 依赖
模型权重文件（可从 models.mistralcdn.com 下载 tar 包，或从 Hugging Face 拉取）
如需容器化部署，还需 Docker 环境
Python 环境（Hugging Face 下载方式需要 huggingface_hub）

安装与启动步骤

1创建模型目录

先设置模型存放路径环境变量并创建该目录，后续下载的权重都放在这里，方便统一管理。
```
export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL
```

2下载 Nemo 12B 权重

从 Mistral 官方 CDN 下载 tar 包并解压到 $MISTRAL_MODEL/12B_Nemo，注意 tar 包较大需预留磁盘空间。

export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR

3下载 Mixtral 8x7B 权重

另一种可选模型，从官方 CDN 下载 Instruct 版本 tar 包并解压到 $MISTRAL_MODEL/8x7b_instruct。按需二选一。

export M8x7B_DIR=$MISTRAL_MODEL/8x7b_instruct
wget https://models.mistralcdn.com/mixtral-8x7b-v0-1/Mixtral-8x7B-v0.1-Instruct.tar
mkdir -p $M8x7B_DIR
tar -xf Mixtral-8x7B-v0.1-Instruct.tar -C $M8x7B_DIR

4从 HF 下载权重

用 huggingface_hub 的 snapshot_download 拉取 Mistral Small 3.1 24B Instruct，只下载 params.json、consolidated.safetensors、tekken.

from pathlib import Path
from huggingface_hub import snapshot_download

mistral_models_path = Path.home().joinpath("mistral_models")

model_path = mistral_models_path / "mistral-small-3.1-instruct"
model_path.mkdir(parents=True, exist_ok=True)

repo_id = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"

snapshot_download(
    repo_id=repo_id,
    allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"],
    local_dir=model_path,
)

5构建部署镜像

进入仓库后在项目根目录执行，deploy 目录内是构建 vLLM 服务镜像的代码，镜像中改用 transformers 库做推理。
```
docker build deploy --build-arg MAX_JOBS=8
```
6启动推理服务

镜像构建完成后按其文档说明运行容器，README 指向官方文档 https://docs.mistral.ai/quickstart 查看运行参数。

关键配置

配置项	必填	说明	示例
`MISTRAL_MODEL`	是	模型权重的本地存放根目录	`$HOME/mistral_models`
`12B_DIR`	否	Nemo 12B 模型解压后的目标目录	`$MISTRAL_MODEL/12B_Nemo`
`M8x7B_DIR`	否	Mixtral 8x7B 模型解压后的目标目录	`$MISTRAL_MODEL/8x7b_instruct`
`MAX_JOBS`	否	docker build 构建参数，控制并行编译任务数	`8`

如何确认成功

对应模型目录下能看到 params.json、consolidated.safetensors、tekken.json 等文件；Docker 镜像构建成功即说明环境就绪。

常见问题

Q：没有 GPU 可以安装吗？

A：README 明确说明安装 mistral-inference 需要 xformers，而 xformers 安装本身需要 GPU，因此必须有可用的 GPU 环境。

Q：模型权重从哪里下载？

A：两种方式：从 models.mistralcdn.com 直接 wget tar 包并解压；或用 huggingface_hub 的 snapshot_download 从 Hugging Face 仓库拉取。

Q：这个仓库还在维护吗？

A：仓库已归档（Archived），不再主动维护。官方表示未来若社区有需要，可能推出新库或大版本更新。

Q：部署镜像里用的是原版实现吗？

A：不是。deploy 目录构建的 vLLM 镜像中使用 transformers 库替代了参考实现，并已打包所需依赖。

注意事项

仓库已归档，不再维护，生产使用前请评估替代方案
构建和运行都需要 GPU 环境，xformers 的安装依赖 GPU
模型权重文件体积较大，下载和解压前请确认磁盘空间
Docker 镜像的运行参数请参考官方文档 https://docs.mistral.ai/quickstart

核心亮点

官方出品，与 Mistral 模型版本同步，兼容性最佳
内置 KV 缓存和批量推理优化，生成速度更快
支持量化加载，显存占用低，消费级显卡可跑

不足之处

主要支持 Mistral 自家模型，不通用其他架构
文档偏简略，高级用法需参考源码

适用场景

快速部署 Mistral 模型到生产环境
在本地或私有云运行 Mistral 模型做推理服务
基于 Mistral 模型进行二次开发和微调后的推理

替代项目

vLLM、Hugging Face Transformers、llama.cpp

项目介绍

mistral-inference 是基础设施领域的开源项目，由 mistralai 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（10,825）位列前 5%，在基础设施分类的 1,132 个项目里位列前 7%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。开源推理库，Apache-2.0 许可，完全免费，需自行部署使用。

它主要面向的使用场景是：快速部署Mistral模型到生产环境。同类可对比的替代方案包括 vLLM、Hugging Face Transformers、llama.cpp。

上一篇：LMCache

下一篇：runanywhere-sdks