模型训练

Awesome-Model-Merging-Methods-Theori··· 开源

一网打尽模型合并前沿，从理论到应用快速上手

这是一个关于模型合并（Model Merging）的精选资源列表，收录了在大语言模型（LLM）、多模态大模型···

MoA 开源

自动混合稀疏注意力，压缩 LLM 省内存提速

MoA 是论文《MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression》···

ReaLHF 开源

重新分配参数，让 RLHF 训练更快更省资源

ReaLHF 是一个面向大语言模型的高效 RLHF（基于人类反馈的强化学习）训练框架，通过参数重新分配技···

IPR 开源

逐步纠错，让LLM智能体每一步都走对

IPR（Iterative Step-level Process Refinement）是一个针对大型语言模型（LLM）智能体（Agent）的···

ComfyUI-TrainTools-MZ 开源

在 ComfyUI 里拖拽节点，轻松训练自己的 LoRA 模型

ComfyUI-TrainTools-MZ 是一套专为 ComfyUI 设计的 LoRA 微调节点，它把 kohya-ss/sd-scripts 等底···

SPPO 开源

让模型自我对弈，无需人工标注即可提升对齐效果

SPPO（Self-Play Preference Optimization，自博弈偏好优化）是一个用于大语言模型对齐训练的开源项···

CorDA 开源

用上下文感知的低秩分解，让大模型微调更省资源更精准

CorDA 是一个面向大语言模型的参数高效微调方法，核心思路是通过上下文导向的分解适配，将模型权重···

LLaMEA 开源

让大模型自动进化出更优算法，省去手工调参。

LLaMEA 是一个基于大语言模型驱动的进化算法框架，用于自动发现和优化算法。它把 LLM 作为变异算子···

pylate 开源

训练和部署晚期交互检索模型，提升语义搜索精度

pylate 是一个专注于晚期交互模型（Late Interaction Models）训练与检索的开源项目，基于 Python ···

AMD-LLM 开源

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

AMD-LLM 是 AMD 推出的面向其 GPU 的 135M 参数语言模型训练代码与资源库。该项目旨在解决 AMD GPU···

ORLM 开源

让大模型看懂业务问题，自动写出优化模型代码

ORLM是一个专注于优化建模的大型语言模型训练项目。它旨在解决传统优化建模依赖专家手工编写数学规···

MoTHer 开源

从模型集合中自动还原模型家族树，看清模型间继承关系。

MoTHer 是 ICLR 2025 论文《Unsupervised Model Tree Heritage Recovery》的官方 PyTorch 实现，旨···

AgentGym 开源

让大模型智能体在多样环境中自我进化，一键复现论文实验

AgentGym 是 ACL 2025 论文的开源实现，旨在解决大语言模型智能体在多样化环境中进化训练的问题。它···

SPO 开源

分步优化扩散模型，让AI生图更懂审美

SPO（Step-by-step Preference Optimization）是一个CVPR 2025的扩散模型后训练方法，旨在从通用人···

DuQuant 开源

双变换打散异常值，低比特量化模型更强

DuQuant 是一个针对大型语言模型（LLM）的量化方法，其核心创新在于通过双重变换（Dual Transforma···

LLM-ESR 开源

让大模型推理步步为营，减少中间错误，提升最终答案准确率。

LLM-ESR是NeurIPS'24 Spotlight论文的官方实现，旨在提升大语言模型在复杂推理任务中的表现。它通过···

SimPO 开源

去掉参考模型，用更简单的公式让模型更懂人类偏好

SimPO 是一个简单而有效的偏好优化方法，用于对齐大语言模型与人类偏好。它由斯坦福大学等机构提出···

ObsScaling 开源

看公开数据就能预测模型性能，省下巨额训练费

ObsScaling 是 NeurIPS 2024 Spotlight 论文《Observational Scaling Laws》的开源实现，主要研究如···

terratorch 开源

一键微调遥感大模型，快速落地地理空间AI应用

terratorch 是一个用于微调地理空间基础模型（GFMs）的 Python 工具包。它解决了遥感领域研究人员和···

RLAIF-V 开源

用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”

RLAIF-V 是一个面向多模态大语言模型的可信度优化框架，核心解决开源模型在视觉问答中过度自信、生···

Open-LLaVA-NeXT 开源

开源复现 LLaVA-NeXT，快速训练你的多模态对话模型

Open-LLaVA-NeXT 是一个开源实现，旨在复现和训练 LLaVA-NeXT 多模态大模型。它解决了社区中缺乏完···

LLM-Drop 开源

丢弃冗余层，加速 Transformer 推理，省算力不掉点。

LLM-Drop 是论文《Uncovering the Redundancy in Transformers via a Unified Study of Layer Drop···

turtle 开源

扔掉标签，无监督迁移也能让模型适应新领域

turtle 是一个基于 ICML 2024 论文《Let Go of Your Labels with Unsupervised Transfer》的开源实···

oumi 开源

一条命令搞定 LLM 微调、评估与部署，让模型落地更简单。

oumi 是一个专注于开源大语言模型（LLM）微调、评估和部署的全流程工具包。它旨在简化从模型选择到···