mistral-inference

官方推理库，快速跑通 Mistral 模型，省心部署

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 1066 🐛 待处理 1 👀 关注 123 ⚠️ 作者已归档（停止维护）

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 10818

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源推理库，Apache-2.0 许可，完全免费，需自行部署使用。

项目预览

mistral-inference 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队mistralai

官网地址https://mistral.ai

GitHubhttps://github.com/mistralai/mistral-inference

定价模式🏷️完全免费

价格说明开源推理库，Apache-2.0 许可，完全免费，需自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Jupyter Notebook

技术栈/模型llm,llm-inference,mistralai

GitHub 星标★ 10818

上线时间2023-09-27 00:00:00

代码更新2026-06-16

仓库体积569 KB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

mistral-inference 是 Mistral AI 官方发布的推理库，用于加载和运行 Mistral 系列大语言模型。它解决了开发者在使用 Mistral 模型时面临的部署复杂、推理效率低等问题，提供了从模型下载、加载、分词到生成文本的完整工具链。核心能力包括支持多种 Mistral 模型架构（如 Mistral 7B、Mixtral 8x7B 等），提供高效的 KV 缓存和批量推理优化，并支持模型量化以降低显存占用。该库基于 PyTorch 实现，接口简洁，适合快速集成到现有 Python 项目中，同时支持本地和云端部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10818

技术标签

llm llm-inference

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 40 分钟部署方式：库/依赖 6 步

环境要求

一块可用的 GPU（README 明确指出：安装 mistral-inference 需要 xformers，而 xformers 安装本身需要 GPU）
安装 xformers 依赖
模型权重文件（可从 models.mistralcdn.com 下载 tar 包，或从 Hugging Face 拉取）
如需容器化部署，还需 Docker 环境
Python 环境（Hugging Face 下载方式需要 huggingface_hub）

安装与启动步骤

1创建模型目录

先设置模型存放路径环境变量并创建该目录，后续下载的权重都放在这里，方便统一管理。
```
export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL
```

2下载 Nemo 12B 权重

从 Mistral 官方 CDN 下载 tar 包并解压到 $MISTRAL_MODEL/12B_Nemo，注意 tar 包较大需预留磁盘空间。

export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR

3下载 Mixtral 8x7B 权重

另一种可选模型，从官方 CDN 下载 Instruct 版本 tar 包并解压到 $MISTRAL_MODEL/8x7b_instruct。按需二选一。

export M8x7B_DIR=$MISTRAL_MODEL/8x7b_instruct
wget https://models.mistralcdn.com/mixtral-8x7b-v0-1/Mixtral-8x7B-v0.1-Instruct.tar
mkdir -p $M8x7B_DIR
tar -xf Mixtral-8x7B-v0.1-Instruct.tar -C $M8x7B_DIR

4从 HF 下载权重

用 huggingface_hub 的 snapshot_download 拉取 Mistral Small 3.1 24B Instruct，只下载 params.json、consolidated.safetensors、tekken.

from pathlib import Path
from huggingface_hub import snapshot_download

mistral_models_path = Path.home().joinpath("mistral_models")

model_path = mistral_models_path / "mistral-small-3.1-instruct"
model_path.mkdir(parents=True, exist_ok=True)

repo_id = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"

snapshot_download(
    repo_id=repo_id,
    allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"],
    local_dir=model_path,
)

5构建部署镜像

进入仓库后在项目根目录执行，deploy 目录内是构建 vLLM 服务镜像的代码，镜像中改用 transformers 库做推理。
```
docker build deploy --build-arg MAX_JOBS=8
```
6启动推理服务

镜像构建完成后按其文档说明运行容器，README 指向官方文档 https://docs.mistral.ai/quickstart 查看运行参数。

关键配置

配置项	必填	说明	示例
`MISTRAL_MODEL`	是	模型权重的本地存放根目录	`$HOME/mistral_models`
`12B_DIR`	否	Nemo 12B 模型解压后的目标目录	`$MISTRAL_MODEL/12B_Nemo`
`M8x7B_DIR`	否	Mixtral 8x7B 模型解压后的目标目录	`$MISTRAL_MODEL/8x7b_instruct`
`MAX_JOBS`	否	docker build 构建参数，控制并行编译任务数	`8`