让 8x7B 大模型在低配电脑上跑起来
mixtral-offloading 是一个让 Mixtral-8x7B 大模型在消费级硬件（如 Colab 免费版或个人桌面）上运行的工具。它通过智能的层卸载和量化技术，将模型权重分配到 CPU 和 GPU 内存中，并利用 bitsandbytes 进行 4-bit 量化，大幅降低显存需求。项目解决了普通用户因显存不足而无法运行大型 MoE 模型的问题，核心能力包括：自动检测 GPU 显存并动态调整卸载策略、支持 Hugging Face 模型下载、提供简单的 Python API 和命令行接口。用户无需高端显卡，即可体验 8x7B 模型的强大能力，适合研究、教学和个人实验。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1运行 Colab 演示
README 推荐的首选方式：直接打开官方 Colab 链接，无需本地环境，按提示复制笔记本并逐格执行。
2克隆项目仓库
如需本地运行，先把仓库克隆到本地，得到包含 demo.ipynb 的项目目录。
git clone https://github.com/dvmazur/mixtral-offloading.git3打开演示笔记本
用 Jupyter 打开仓库中的 notebooks/demo.ipynb，这是 README 中唯一提供的运行入口。
jupyter notebook notebooks/demo.ipynb4按单元格执行
依次运行 notebook 中的单元格完成模型加载与推理；README 未提供依赖安装清单，缺失库请按报错补装。
notebook 单元格全部执行无报错，并能成功加载 Mixtral-8x7B 并输出生成文本。
Q：有可以本地直接运行的命令行脚本吗？
A：README 明确说明目前没有本地运行的命令行脚本，只能用 demo notebook；可参考该 notebook 自行编写脚本，项目也欢迎贡献。
Q：显存不够能跑吗？
A：项目通过 HQQ 混合量化与 MoE 卸载把专家分布到 CPU 和 GPU 内存中，降低显存需求；README 未提供可调参数说明，具体请参考 notebook。
Q：支持哪些模型？
A：README 只说明支持 Mixtral-8x7B 系列模型的高效推理，未提及其他模型。
Q：技术报告里的方法都能用吗？
A：README 说明技术报告中的部分技术尚未在本仓库实现，作者正在陆续补充，请以仓库现状为准。
llama.cpp、exllama、GPTQ-for-LLaMa
mixtral-offloading 是基础设施领域的开源项目，由 dvmazur 开发，2023 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（2,335）位列前 30%，在基础设施分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署运行Mixtral-8x7B模型。
它主要面向的使用场景是：在Colab或低配笔记本上运行Mixtral-8x7B进行文本生成。同类可对比的替代方案包括 llama.cpp、exllama、GPTQ-for-LLaMa。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···