模型训练

AnglE 开源

用角度学习训练最强句子向量，登顶MTEB榜单

AnglE是一个用于训练和推理高质量句子嵌入（Sentence Embeddings）的Python开源库，旨在解决文本语···

automix 开源

让多个AI模型互相验证，推理结果更靠谱

automix 是一个用于混合语言模型的开源项目，核心思路是通过自验证（self-verification）和元验证（···

AlignProp 开源

直接反向传播奖励，让扩散模型更听话，效率提升25倍

AlignProp 是一个用于对齐大规模文本到图像扩散模型的开源项目，核心思想是直接对奖励函数进行反向···

hf_ehr 开源

用 EHR 数据微调 HuggingFace 模型，快速构建医疗预测应用

hf_ehr 是一个专注于在电子健康记录（EHR）数据上训练 HuggingFace 模型的开源项目。它解决了医疗领···

LongLoRA 开源

用少量算力把大模型上下文拉到 100k+，长文本任务轻松搞定

LongLoRA 是一个针对大语言模型的长上下文微调方案，由 MIT 等机构提出，相关论文入选 ICLR 2024 O···

aikit 开源

一条命令微调并部署开源大模型，省去繁琐工程配置。

aikit 是一个面向开源大语言模型的轻量级工具链，旨在简化 LLM 的微调、构建和部署流程。它解决了开···

nanotron 开源

极简代码跑通千亿模型3D并行训练

nanotron 是 Hugging Face 开源的大语言模型训练框架，核心目标是用极简代码实现 3D 并行训练（数据···

Medusa 开源

给大模型加几个解码头，生成速度翻倍，不用改架构

Medusa是一个用于加速大语言模型生成的轻量级框架，核心思路是在原始模型基础上添加多个解码头（de···

alignment-handbook 开源

一键复现主流 LLM 对齐实验，从 SFT 到 DPO 全流程开箱即用。

alignment-handbook 是一个用于对齐语言模型（LM）与人类及 AI 偏好的开源工具箱，由 Hugging Face···

InstructERC 开源

用指令微调让情感识别更灵活，一个模型搞定多种任务

InstructERC 是一个基于指令微调的开源情感识别模型项目，旨在通过自然语言指令的形式统一各类情感···

chatgpt-finetune-ui 开源

拖拽上传数据，点点鼠标就能微调 ChatGPT 模型

这是一个基于 Python 和 Streamlit 构建的 ChatGPT 微调 Web 界面，专为 gpt-3.5-turbo 模型设计。···

LoadLoraWithTags 开源

一键管理 LoRA 触发词，自动补全，快速开关

LoadLoraWithTags 是一个 ComfyUI 的自定义节点，用于管理和加载 LoRA 模型及其触发词。它通过 JSO···

OmniQuant 开源

把大模型压到4比特，速度更快内存更省，精度还不掉链子。

OmniQuant 是一个针对大型语言模型（LLM）的量化技术，发表于 ICLR 2024 并被评为 spotlight。它旨···

mergekit 开源

拖拽式合并大模型，轻松融合多个模型能力

mergekit 是一个用于合并预训练大语言模型（LLM）的工具集。它解决了模型合并过程中繁琐的工程问题···

DoLa 开源

不重训模型，对比层输出，让大模型少说瞎话。

DoLa 是一个用于提升大语言模型事实性的解码策略，来自同名论文的官方实现。它通过对比不同层级的输···

mlflow_for_ml_dev 开源

跟着示例跑通 MLflow，搞定实验跟踪与模型管理

mlflow_for_ml_dev 是一个面向机器学习开发者的 MLflow 示例代码库，主要用 Jupyter Notebook 演示···

perfusion-pytorch 开源

用少量样本给文本生成模型打补丁，实现精准图像编辑

perfusion-pytorch 是 NVIDIA AI 提出的 Key-Locked Rank One Editing 方法的非官方 PyTorch 实现，···

ms-swift 开源

一条命令微调千种大模型，从训练到部署全搞定

ms-swift 是魔搭社区推出的国产大模型全流程训练与部署工具，旨在解决开发者微调大模型时面临的框架···

OpenRLHF 开源

基于 Ray 的强化学习框架，让大规模 RLHF 训练又快又稳

OpenRLHF 是一个基于 Ray 的强化学习框架，专为大规模语言模型（LLM）的智能体训练而设计。它解决了···

LLM-Finetuning-Toolkit 开源

像写单元测试一样微调大模型，实验更稳更可控。

LLM-Finetuning-Toolkit 是一个面向开源大语言模型的微调、消融和单元测试工具包。它主要解决研究人···

LLMs-from-scratch 开源

手把手从零造出 ChatGPT，原理代码一次搞懂

手把手教你用 PyTorch 从零实现一个 ChatGPT 级别的 LLM，逐行讲解代码与原理，是深入理解 Transfo···

finetuned-qlora-falcon7b-medical 开源

用QLoRA微调Falcon-7B，打造心理健康对话助手

这是一个基于Falcon-7B大语言模型，使用QLoRA技术针对心理健康对话数据集进行微调的开源项目。它解···

distill-sd 开源

把大模型蒸馏成小模型，低显存也能跑高质量图像生成

distill-sd 是 Segmind 推出的扩散模型蒸馏工具集，专注于将大型 Stable Diffusion 模型蒸馏为更小···

CAME 开源

减少大模型训练显存，优化器也能自适应省内存

CAME 是 ACL 2023 论文《CAME: Confidence-guided Adaptive Memory Optimization》的官方实现，一个···