去掉参考模型，用更简单的公式让模型更懂人类偏好
SimPO 是一个简单而有效的偏好优化方法，用于对齐大语言模型与人类偏好。它由斯坦福大学等机构提出，发表于 NeurIPS 2024。与传统的直接偏好优化（DPO）不同，SimPO 省去了参考模型，直接使用策略模型自身的对数似然作为隐式奖励，从而大幅简化训练流程并降低计算开销。SimPO 的核心创新在于长度归一化的奖励函数，有效缓解了模型生成冗长回答的倾向，并在多个基准测试（如 AlpacaEval 2、Arena-Hard）上取得了优于 DPO 和 RLHF 的效果。该开源项目提供了完整的训练代码、配置文件和评估脚本，支持 Llama、Mistral 等主流模型，方便研究者复现和扩展。
DPO (Direct Preference Optimization)、KTO (Kahneman-Tversky Optimization)、ORPO (Odds Ratio Preference Optimization)
SimPO 是模型训练领域的开源项目，由 princeton-nlp 开发，2024 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（959）位列前 30%，在模型训练分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。完全开源，MIT许可证，免费使用，无付费版本。
它主要面向的使用场景是：大模型指令微调后的偏好对齐阶段。同类可对比的替代方案包括 DPO (Direct Preference Optimization)、KTO (Kahneman-Tversky Optimization)、ORPO (O…。
上一篇：selfcodealign
下一篇：PSEC
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
