mixtral-offloading

让 8x7B 大模型在低配电脑上跑起来

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 225 🐛 待处理 26 👀 关注 27

GitHub ↗

GitHub 星标 ★ 2334

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署运行Mixtral-8x7B模型。

项目预览

mixtral-offloading 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队dvmazur

GitHubhttps://github.com/dvmazur/mixtral-offloading

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署运行Mixtral-8x7B模型。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型colab-notebook,deep-learning,google-colab,language-model,llm,mixture-of-experts,offloading,pytorch,quantization

GitHub 星标★ 2334

上线时间2023-12-15 00:00:00

代码更新2024-04-08

仓库体积267 KB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

mixtral-offloading 是一个让 Mixtral-8x7B 大模型在消费级硬件（如 Colab 免费版或个人桌面）上运行的工具。它通过智能的层卸载和量化技术，将模型权重分配到 CPU 和 GPU 内存中，并利用 bitsandbytes 进行 4-bit 量化，大幅降低显存需求。项目解决了普通用户因显存不足而无法运行大型 MoE 模型的问题，核心能力包括：自动检测 GPU 显存并动态调整卸载策略、支持 Hugging Face 模型下载、提供简单的 Python API 和命令行接口。用户无需高端显卡，即可体验 8x7B 模型的强大能力，适合研究、教学和个人实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2334

技术标签

colab-notebook deep-learning google-colab language-model llm

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 30 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

能访问 GitHub 与 Hugging Face 的网络环境
拥有 GPU 的机器（如 Colab 免费版）或可在本地运行 Jupyter Notebook
足够的磁盘空间用于下载 Mixtral-8x7B 模型权重
Python 环境（README 未给出具体版本与依赖清单）

安装与启动步骤

1运行 Colab 演示

README 推荐的首选方式：直接打开官方 Colab 链接，无需本地环境，按提示复制笔记本并逐格执行。
2克隆项目仓库

如需本地运行，先把仓库克隆到本地，得到包含 demo.ipynb 的项目目录。
```
git clone https://github.com/dvmazur/mixtral-offloading.git
```
3打开演示笔记本

用 Jupyter 打开仓库中的 notebooks/demo.ipynb，这是 README 中唯一提供的运行入口。
```
jupyter notebook notebooks/demo.ipynb
```
4按单元格执行

依次运行 notebook 中的单元格完成模型加载与推理；README 未提供依赖安装清单，缺失库请按报错补装。