模型训练

nnscaler 开源 免费 仅开源

写单卡模型，编译器自动生成多卡并行训练方案

nnScaler 是微软开源的深度学习模型并行训练编译框架，目标是把单卡上写好的 DNN 模型自动编译成可···

shortened-llm 开源 免费 仅开源

压缩LLM，推理提速，显存减半，生成依旧流畅。

shortened-llm 是一个针对大语言模型（LLM）的压缩与高效文本生成工具，源自 ICLR'24 Workshop 的研···

TEMPO 开源 免费 仅开源

用提示词调教时间序列预测，跨领域泛化更强

TEMPO 是一个基于提示词（prompt）的生成式预训练Transformer模型，专为时间序列预测任务设计，是I···

long-context-attention 开源 免费 仅开源

把超长上下文注意力切到多卡上，训练推理都能跑更长

long-context-attention 是面向长上下文 Transformer 训练与推理的序列并行注意力实现，核心是 USP···

RLHF-Reward-Modeling 开源 免费 仅开源

一键训练 RLHF 奖励模型，快速对齐大模型

RLHF-Reward-Modeling 是一个专注于训练 RLHF（基于人类反馈的强化学习）奖励模型的开源项目。它提···

MTP 开源 免费 仅开源

多任务预训练遥感模型，一个骨干搞定多种任务

MTP 是 JSTARS'24 论文的官方实现，提出了一种面向遥感基础模型的多任务预训练方法。它通过同时学习···

LLM-RLHF-Tuning-with-PPO-and-DPO 开源 免费 仅开源

一站式跑通大模型 RLHF：SFT 到 PPO/DPO 全流程

这是一个面向大模型对齐训练的完整工具包，围绕人类反馈强化学习（RLHF）流程，覆盖指令微调、奖励···

RAG-Retrieval 开源 免费 仅开源

统一微调 RAG 检索模型，让召回更精准

RAG-Retrieval 是一个专注于统一 RAG（检索增强生成）检索环节高效微调的开源框架，覆盖 Embedding···

Agent-FLAN 开源 免费 仅开源

让大模型学会用工具，微调数据与方法一键搞定

Agent-FLAN 是复旦大学等机构在 ACL 2024 Findings 发表的开源项目，核心是解决大语言模型（LLM）在···

SVD-LLM 开源 免费 仅开源

用SVD给大模型瘦身，压缩后照样能打

SVD-LLM 是一个面向大语言模型的低秩压缩与微调框架，基于奇异值分解（SVD）技术，在保持模型性能的···

sd-lora-trainer 开源 可打开

拖入图片，一键训练专属 LoRA，快速定制 SD 模型风格

sd-lora-trainer 是一个用于训练 Stable Diffusion 模型 LoRA 和 embedding 的开源工具，支持 SDXL···

transformer-tricks 开源 免费 仅开源

查Transformer加速技巧，少走弯路，直接上手

这是一个关于Transformer模型加速技巧与工具的集合仓库，主要面向深度学习工程师和研究者，解决Tra···

TFMQ-DM 开源 免费 仅开源

给扩散模型瘦身，4-bit量化不降画质，部署提速。

TFMQ-DM 是 CVPR 2024 Highlight 和 TPAMI 2025 论文的官方 PyTorch 实现，专注于扩散模型的训练后···

LightCompress 开源 免费 仅开源

一套工具压缩 LLM/VLM/视频模型，部署更省资源

LightCompress 是一个面向大模型压缩的开源工具包，由 EMNLP 2024 和 AAAI 2026 论文支撑，支持对 ···

CoDA-NO 开源 免费 仅开源

用注意力机制快速求解多物理场 PDE，让仿真更高效

CoDA-NO 是一个基于共域注意力神经算子的开源模型，用于解决偏微分方程（PDE）的单物理到多物理自适···

FedKTL 开源 免费 仅开源

用服务端预训练生成器，让异构联邦学习上传更少、效果更好。

FedKTL 是一个面向异构联邦学习的知识迁移框架，核心解决在客户端数据分布不均、算力差异大的场景下···

llamaduo 开源 免费 仅开源

把大模型能力搬回家，低成本打造专属小模型

LlamaDuo 是一个面向 LLMOps 的流水线框架，旨在帮助用户从商业大模型（如 GPT-4）无缝迁移到小规模···

TCD 开源 免费 仅开源

少步采样，快速出图，扩散模型提速神器

TCD（Trajectory Consistency Distillation）是一个用于加速扩散模型采样的训练方法，源自同名论文···

ETO 开源 免费 仅开源

让 LLM Agent 在试错中自我进化，越用越聪明

ETO 是一个面向 LLM Agent 的轨迹优化框架，基于试错探索机制，通过让智能体在环境中主动尝试、犯错···

Large-Time-Series-Model 开源 免费 仅开源

用预训练大模型搞定时间序列预测，零样本也能用

Timer 是一个面向时间序列预测的大规模预训练模型项目，由 ICML 2024 论文团队开源。它解决传统时间···

MLM_Filter 开源 免费 仅开源

用多模态模型自动筛出高质量图文对，提升训练数据纯净度

MLM_Filter 是一个用于图像-文本数据过滤的开源工具，基于论文《Finetuned Multimodal Language Mo···

Directional-Preference-Alignment 开源 免费 仅开源

用方向性偏好让模型对齐更精准，训练更稳定

Directional Preference Alignment 是一个用于大语言模型对齐的早期开源项目，旨在通过方向性偏好优···

TOTEM 开源 免费 仅开源

把时间序列变成 token，一个模型搞定预测、分类、异常检测

TOTEM 是一个面向通用时间序列分析的开源模型，核心思路是将连续的时间序列数据离散化为 token（令···

Unified-MoE-Compression 开源 免费 仅开源

给 MoE 模型瘦身，压缩后推理更快更省内存

Unified-MoE-Compression 是论文《Towards Efficient Mixture of Experts: A Holistic Study of Co···