mergekit

拖拽式合并大模型，轻松融合多个模型能力

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 803 🐛 待处理 277 👀 关注 60

GitHub ↗

GitHub 星标 ★ 7439

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源工具，本地部署，完全免费

项目预览

项目数据

分类开源模型

开发团队arcee-ai

GitHubhttps://github.com/arcee-ai/mergekit

定价模式🏷️完全免费

价格说明开源工具，本地部署，完全免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议LGPL-3.0

主要语言Python

技术栈/模型llama,llm,model-merging

GitHub 星标★ 7439

上线时间2023-08-21 00:00:00

代码更新2026-10-31

仓库体积1.3 MB

本站数据更新2026-11-08

维护状态较活跃

收录时间2026-08-09

浏览次数4

项目介绍

mergekit 是一个用于合并预训练大语言模型（LLM）的工具集。它解决了模型合并过程中繁琐的工程问题，让开发者能够轻松地将多个模型的能力融合到一个模型中。其核心能力包括支持多种合并算法（如线性插值、SLERP、TIES、DARE 等），提供统一的命令行接口和 Python API，并针对大模型优化了内存使用，使得在普通消费级硬件上也能合并 70B 级别的模型。通过 mergekit，用户可以快速实现模型能力的组合，例如将指令微调模型与基础模型合并，或融合多个领域专家模型，从而无需从头训练即可获得增强的模型性能。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7439

技术标签

llama llm

使用教程

难度：进阶约 15 分钟部署方式：命令行工具 7 步

环境要求

Python 环境（可运行 pip）
pip 版本需大于 21.3，否则 editable 安装会报错
磁盘空间足以存放待合并模型及输出模型
可选：NVIDIA GPU 与至少 8 GB 显存用于加速，合并也可完全在 CPU 上运行

安装与启动步骤

1克隆仓库

从 GitHub 拉取 mergekit 源码到本地当前目录。
```
git clone https://github.com/arcee-ai/mergekit.git
```
2进入目录

切换到刚克隆下来的 mergekit 目录内再执行后续安装。
```
cd mergekit
```
3安装包

以 editable 模式安装，并把 mergekit 的命令行脚本加入环境。
```
pip install -e .
```
4升级 pip

仅当安装报 setup.py/setup.cfg 找不到时执行，把 pip 升到 21.3 以上。
```
python3 -m pip install --upgrade pip
```
5编写合并配置

按 README 字段写 YAML：merge_method、models 或 slices、base_model、parameters 等。
6执行合并

传入配置文件和输出目录，按需加 --cuda、--lazy-unpickle 等参数。
```
mergekit-yaml path/to/your/config.yml ./output-model-directory
```
7查看全部参数

不确定可用选项时，用 --help 查看 mergekit-yaml 支持的全部参数。
```
mergekit-yaml --help
```

关键配置

配置项	必填	说明	示例
`merge_method`	是	指定使用的合并算法，如 linear、SLERP、TIES、DARE 等。	`linear`
`models`	否	列出参与合并的完整模型；与 slices 互斥。	`path/to/model_a`
`slices`	否	定义取自不同模型的层切片；与 models 互斥。	`path/to/model_a`
`base_model`	否	某些合并方法所需的基础模型。	`path/to/model`
`parameters`	否	存放权重、密度等参数，可在不同层级指定。	`weight: 0.5`
`tokenizer`	否	配置输出词表与嵌入对齐，source 可取 union/base/模型路径。	`source: union`

如何确认成功

命令执行完成后，合并结果已写入 ./output-model-directory，目录中出现合并后的模型权重与配置文件。

常见问题

Q：pip install -e . 报错找不到 setup.py 或 setup.cfg 怎么办？

A：按 README 提示升级 pip 到 21.3 以上：python3 -m pip install --upgrade pip，然后重新执行 pip install -e .。

Q：没有 GPU 能合并模型吗？

A：可以。README 说明合并可完全在 CPU 上运行，也可用最少 8 GB 显存加速。

Q：tokenizer 和 tokenizer_source 可以同时写吗？

A：不可以，两者互斥，只能二选一。tokenizer 是推荐的新写法，tokenizer_source 仅作向后兼容。

Q：models 和 slices 能同时配置吗？

A：不能，这两个字段互斥：要么用 models 指定完整模型，要么用 slices 指定层切片。

注意事项

合并过程采用 out-of-core 方式，资源受限环境也能完成复杂合并。
--unsafe-truncate-embeddings 默认关闭且独立于 --allow-crimes，它会按最小词表截断而不检查 token ID 含义，需自行确保 token 对齐。
当输入模型词表大小不同时，必须通过 tokenizer 或 tokenizer_source 对齐，否则无法合并。