Awesome-Model-Merging-Methods-Theories-Applications

一网打尽模型合并前沿，从理论到应用快速上手

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 50 🐛 待处理 1 👀 关注 16
GitHub ↗
GitHub 星标 ★ 797
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，无在线服务，需自行部署，完全免费。

项目预览

Awesome-Model-Merging-Methods-Theories-Applications 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队EnnengYang
GitHubhttps://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications
定价模式🏷️完全免费
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
技术栈/模型attack-defense,continual-learning,diffusion-models,ensemble-learning,federated-learning,few-shot-learning,foundation-models,generalization,generative-model,knowledge-fusion,large-language-models,llms,meta-learning,model-fusion,model-merging,multi-domain-learning,multi-task-learning,robustness,transfer-learning,zero-shot-learning
GitHub 星标★ 797
上线时间2024-06-19 00:00:00
代码更新2026-11-08
仓库体积4.5 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

这是一个关于模型合并（Model Merging）的精选资源列表，收录了在大语言模型（LLM）、多模态大模型（MLLM）等领域中模型合并的方法、理论、应用与机遇。该项目基于一篇发表于ACM Computing Surveys的综述论文，系统整理了模型合并相关的论文、代码、工具和数据集，旨在帮助研究者和工程师快速了解该领域的前沿进展。模型合并技术能够将多个专有模型的能力融合到一个模型中，从而降低推理成本、提升性能，并支持模块化AI的构建。该列表涵盖了从基础方法（如权重平均、任务算术）到高级理论（如损失景观分析）再到实际应用（如多模态融合）的完整内容，是进入该领域的重要参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 797

使用教程

难度：入门 约 10 分钟 部署方式：无需安装 4 步

环境要求

  • 无需环境（读清单）
  • 做实验需 GPU

安装与启动步骤

  1. 1看清单

    模型合并方向的论文与方法汇总，ACM 综述配套。

    https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications

  2. 2按方法分类

    清单把合并分成加权、流形、路由几大类。

    在页面内搜索：Model Merging

  3. 3挑一个动手

    从最简单的方法（如 Task Arithmetic）开始试。

    读 Task Arithmetic 的官方实现

  4. 4本地验证

    用 mergekit 之类工具做一次双模型合并。

    pip install mergekit

如何确认成功

合并后的模型在两个任务上都不明显退化。

注意事项

  • 合并比微调便宜得多，适合快速把多个能力揉进一个模型。
  • 权重差异过大会互相破坏，先看论文里的相似度前提。
  • 评测要用独立集，别只在自己关心的任务上看。

核心亮点

  • 基于ACM Computing Surveys综述，内容系统权威，覆盖方法、理论、应用全链条
  • 资源分类清晰，按方法、理论、应用等维度组织，便于检索和深入学习
  • 收录了最新研究（2026年），紧跟LLM/MLLM时代模型合并的快速发展

不足之处

  • 项目仍处于早期阶段（771星），资源数量和更新频率可能有限
  • 文档和社区生态尚待观察，可能缺乏深度解读或使用指南

适用场景

  • 研究模型合并技术，快速了解领域全貌和最新论文
  • 工程实践中需要将多个模型能力融合，寻找可行方案
  • 撰写相关综述或论文，寻找参考文献和对比方法

替代项目

Awesome-Model-Merging、Awesome-LLM-Merging、Model-Merging-Resources

上一篇：ReCall

下一篇：Megatron-LM

同类项目推荐

ZO-LLM 开源

用零阶优化在低显存下微调大模型，省内存不省效果

[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···

★ 131 2026-08-09
xllm 开源

轻量预训练骨架，改几行就能跑起训练实验

Light-weight infrastructure for express LLM pre-training

★ 124 2026-10-31
rlhf-summary-notes 开源

快速理清RLHF算法脉络，一份笔记入门

A brief and partial summary of RLHF algorithms.

★ 155 2026-08-09
examples 开源

看示例，快速上手 Neptune 实验管理

Examples of how to use Neptune for different use cases and with various MLOps tools

★ 86 2026-08-09
KG-FIT 开源

用大模型给知识图谱做微调，让关系预测更准

[NeurIPS'24] Knowledge Graph Fine-Tuning using LLMs

★ 130 2026-08-09
Nemotron 开源

一站式获取 Nemotron 模型训练配方与示例，快速上手微调。

Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes,···

★ 2320 2026-08-10
huggingface-gemma-recipes 开源

照着 Notebook 跑，Gemma 推理微调一步到位

Inference, Fine Tuning and many more recipes with Gemma family of models

★ 304 2026-09-16
LLMEmb 开源

让大模型嵌入更精准，提升检索与语义匹配效果

[AAAI'25 Oral] The official implementation code of LLMEmb

★ 54 2026-08-09
Trinity-RFT 开源

搭好LLM强化微调流水线，换算法扩规模不用重写

Trinity-RFT is a general-purpose, flexible and scalable framework designed for reinf···

★ 714 2026-09-15