项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 964
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Linux + NVIDIA GPU
- Conda
- 偏好对数据集
安装与启动步骤
-
1按环境文件建环境
官方建议严格对齐包版本，否则复现结果会有偏差。
conda env create -f environment.yml conda activate simpo -
2准备偏好数据
用成对的 chosen / rejected 数据，格式与仓库示例保持一致。
-
3调三个超参
重点调 learning_rate、beta、gamma，总 batch 建议固定 128。
-
4跑训练脚本
scripts/ 下有针对不同基座与数据集的脚本，改路径即可。
bash scripts/run_simpo.sh
如何确认成功
训练日志里 loss 平稳下降，checkpoint 正常保存；评测脚本能复现论文量级指标。
常见问题
Q：能不能在单卡上跑？
A：小模型可以，按显存调小 batch 并保持梯度累积总量。
注意事项
- SimPO 无需参考模型，显存占用比 DPO 更低。
- 论文结果对超参敏感，换数据集一定要重新调 beta 与 gamma。
核心亮点
- 无需参考模型，训练显存和计算成本显著降低
- 长度归一化奖励机制，有效抑制冗长回答，提升生成质量
- 在多个主流基准上超越 DPO 和 RLHF，效果显著
不足之处
- 对超参数（如 beta 和 gamma）较为敏感，需要调优
- 文档和社区支持尚处于早期，示例和教程有限
适用场景
- 大模型指令微调后的偏好对齐阶段
- 资源受限环境下的模型对齐（如单卡训练）
- 需要快速迭代的对齐实验和研究
替代项目
DPO (Direct Preference Optimization)、KTO (Kahneman-Tversky Optimization)、ORPO (Odds Ratio Preference Optimization)
上一篇：selfcodealign
下一篇：PSEC
同类项目推荐
slime
开源
把大模型强化学习后训练做成可横向扩展的基础设施
slime is an LLM training framework for RL Scaling.
Megatron-Bridge
开源
Hugging Face 模型一键转 Megatron 训练，训完再转回来
Training library for Megatron-based models with bidirectional Hugging Face conversio···
NexRL
开源
像搭积木一样拼 LLM 后训练流程，换组件不用重写代码
NexRL is an ultra-loosely-coupled LLM post-training framework.
Re-Align
开源
用图像检索给VLM装上“防幻觉滤镜”，生成更可信。
[EMNLP'25] A novel alignment framework that leverages image retrieval to mitigate ha···
AI-Toolkit-Easy-Install
开源
Windows 上一键装好 AI 微调工具，免折腾环境直接开训
One-click Portable Windows installation of 'AI-Toolkit by Ostris'
ml-template-azure
开源
在 Azure 上快速搭建自动化机器学习流水线，省去从零配置的麻烦。
Template for getting started with automated ML Ops on Azure Machine Learning
Skills
开源
给大模型装技能插件，按需组合快速增强能力
A project to improve skills of large language models
llm-engine
开源
自建大模型推理与微调平台，OpenAI 接口一键迁移
Scale LLM Engine public repository
maxtext
开源
用 JAX 快速训练和扩展超大规模语言模型
A simple, performant, and scalable Jax LLM!