项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 59
核心亮点
- 提出针对 DPO 分布偏移的明确改进方案，有理论动机
- 与 Hugging Face 生态集成，支持 LoRA 微调，易于实验
- 提供示例脚本和配置，复现门槛较低
不足之处
- 文档/社区待观察
- 项目早期，星标和贡献者少，稳定性待验证
适用场景
- 研究 DPO 算法改进的学术实验
- 需要更稳定对齐的大模型微调任务
- 探索偏好优化新方法的开发者
替代项目
DPO（原版直接偏好优化）、KTO（知识感知优化）、ORPO（无需参考模型的偏好优化）
同类项目推荐
NexRL
开源
像搭积木一样拼 LLM 后训练流程，换组件不用重写代码
NexRL is an ultra-loosely-coupled LLM post-training framework.
Target-Driven-Distillation
开源
让扩散模型蒸馏更快更稳，生成质量不掉线
Consistency Distillation with Target Timestep Selection and Decoupled Guidance
kohya-config-webui
开源
可视化点选，一键生成SD训练配置，告别手写TOML
A WebUI for making config files used by kohya_sd_script. 一个用于生成kohya-ss训练脚···
ringattention
开源
环形分布注意力，让长上下文处理又快又省显存
Large Context Attention
BloomBee
开源
多台普通设备拼起来，也能微调和跑大模型
Decentralized LLMs fine-tuning and inference with offloading
apex-quant
开源
MoE 大模型按专家分精度压缩，省显存不掉点
Adaptive Precision for EXpert Models: MoE-aware mixed-precision quantization
ms-swift
开源
一条命令微调千种大模型，从训练到部署全搞定
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···
flame
开源
极简框架，快速训练线性注意力大模型
A minimal training framework for scaling FLA models
RLVR-World
开源
用强化学习训练能用于决策的视频生成世界模型
Official repository for "RLVR-World: Training World Models with Reinforcement Learni···