模型训练

ml-mdm 开源 免费 仅开源

用更少数据和算力，训出高质量文生图模型

ml-mdm 是苹果开源的文本到图像扩散模型训练框架，目标是在数据和算力都受限的条件下，依然能训练出···

OneGen 开源 免费 仅开源

一次前向传播，边生成边检索，让 LLM 知识问答更快更准。

OneGen 是一个针对大型语言模型（LLM）的高效统一生成与检索框架，发表于 EMNLP 2024。它解决了传统···

minimind 开源 免费 仅开源

两小时造出你的小模型，练手入门不求人

仅用 2 小时即可从零训练一个 64M 参数的小型 LLM，完整展示大模型从数据到训练的全过程，是初学者···

ktransformers 开源 免费 仅开源

单卡甚至纯CPU跑大模型，显存不够也能玩转MoE推理微调

KTransformers 是一个面向大语言模型推理与微调的开源异构优化框架，核心目标是让开发者在单台消费···

stable-pretraining 开源 免费 仅开源

一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。

stable-pretraining 是一个用于预训练基础模型和世界模型的 Python 库，主打可靠、极简和可扩展。它···

RAG-FiT 开源 免费 仅开源

让大模型更懂检索结果，微调提升 RAG 问答准确率

RAG-FiT 是一个用于增强大语言模型在检索增强生成（RAG）任务中表现的微调框架。它解决了通用微调方···

Kiln 开源 可打开

一站式搞定 AI 系统开发：从数据标注到微调评估，全流程可视化协作

Kiln 是一个面向 AI 系统的全流程开发平台，旨在解决从数据准备到模型优化过程中工具链割裂、协作困···

lmms-finetune 开源 免费 仅开源

极简代码库，快速微调主流多模态大模型

lmms-finetune 是一个极简的多模态大模型微调代码库，旨在降低 LMM（Large Multimodal Model）微调···

VERONA 开源 免费 仅开源

一键搭建鲁棒性实验，快速算清模型抗干扰能力

VERONA 是一个轻量级 Python 包，用于快速搭建鲁棒性实验并计算鲁棒性分布。它解决了机器学习模型在···

MambaInLlama 开源 免费 仅开源

把 Llama 蒸馏成混合模型，推理更快更省内存

MambaInLlama 是 NeurIPS 2024 的官方实现，专注于将 Llama 等预训练 Transformer 模型蒸馏为混合架···

align-anything 开源 免费 仅开源

一套框架搞定全模态对齐训练，省时省力

Align Anything 是一个面向全模态模型的对齐训练框架，旨在解决多模态模型（文本、图像、音频、视频···

torch_brain 开源 可打开

用 PyTorch 快速搭建神经数据模型，省去数据预处理和训练样板代码

torch_brain 是一个基于 PyTorch 的深度学习库，专门用于神经科学数据的建模与训练。它解决的是神经···

VADER 开源 免费 仅开源

用奖励梯度微调视频模型，让生成结果更合你心意

VADER 是一个用于视频扩散模型对齐的开源项目，通过奖励梯度（Reward Gradients）对预训练的视频生···

Adam-mini 开源 免费 仅开源

用更少学习率，训更快更大模型，省显存提性能。

Adam-mini 是一个优化器算法项目，旨在通过减少学习率数量来提升模型训练效率。它基于论文《Adam-m···

llm-compressor 开源 免费 仅开源

一键压缩大模型，vLLM 直接跑，省显存提吞吐

llm-compressor 是 vLLM 团队推出的 LLM 压缩工具库，与 Hugging Face Transformers 无缝兼容。它解···

Awesome-Model-Merging-Methods-Theori··· 开源 免费 仅开源

一网打尽模型合并前沿，从理论到应用快速上手

这是一个关于模型合并（Model Merging）的精选资源列表，收录了在大语言模型（LLM）、多模态大模型···

MoA 开源 免费 仅开源

自动混合稀疏注意力，压缩 LLM 省内存提速

MoA 是论文《MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression》···

ReaLHF 开源 免费 仅开源

重新分配参数，让 RLHF 训练更快更省资源

ReaLHF 是一个面向大语言模型的高效 RLHF（基于人类反馈的强化学习）训练框架，通过参数重新分配技···

IPR 开源 免费 仅开源

逐步纠错，让LLM智能体每一步都走对

IPR（Iterative Step-level Process Refinement）是一个针对大型语言模型（LLM）智能体（Agent）的···

GPTQModel 开源 免费 仅开源

把大模型压到4bit，显存减半还能跑

GPTQModel 是一个面向大语言模型的量化压缩工具包，核心目标是把 FP16/BF16 模型压缩到 4bit、3bit···

ComfyUI-TrainTools-MZ 开源 免费 仅开源

在 ComfyUI 里拖拽节点，轻松训练自己的 LoRA 模型

ComfyUI-TrainTools-MZ 是一套专为 ComfyUI 设计的 LoRA 微调节点，它把 kohya-ss/sd-scripts 等底···

SPPO 开源 免费 仅开源

让模型自我对弈，无需人工标注即可提升对齐效果

SPPO（Self-Play Preference Optimization，自博弈偏好优化）是一个用于大语言模型对齐训练的开源项···

CorDA 开源 免费 仅开源

用上下文感知的低秩分解，让大模型微调更省资源更精准

CorDA 是一个面向大语言模型的参数高效微调方法，核心思路是通过上下文导向的分解适配，将模型权重···

LLaMEA 开源 免费 仅开源

让大模型自动进化出更优算法，省去手工调参。

LLaMEA 是一个基于大语言模型驱动的进化算法框架，用于自动发现和优化算法。它把 LLM 作为变异算子···