SPPO

让模型自我对弈，无需人工标注即可提升对齐效果

SPPO（Self-Play Preference Optimization，自博弈偏好优化）是一个用于大语言模型对齐训练的开源项目，提供了论文的官方实现。它解决的核心问题是：传统RLHF（基于人类反馈的强化学习）依赖昂贵的人工偏好标注，且训练不稳定。SPPO通过让模型自我对弈生成偏好数据，并采用类似纳什均衡的迭代优化策略，使模型在无需额外人工标注的情况下持续提升响应质量。项目核心能力包括：实现SPPO训练算法、支持与主流LLM框架集成、提供可复现的训练脚本和实验配置。其方法在数学推理、对话生成等任务上表现出色，能有效提升模型与人类偏好的对齐度，同时降低对齐成本。目前项目处于早期阶段，代码结构清晰，适合研究者和工程师探索自博弈对齐技术。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 589

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队uclaml

所属国家

官网地址https://uclaml.github.io/SPPO

GitHubhttps://github.com/uclaml/SPPO

定价模式free

价格说明开源项目，Apache-2.0许可，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型deep-learning,fine-tuning,large-language-models,rlhf,self-play

GitHub 星标★ 589

30天Star增速

HF 下载量

上线时间2024-06-13 00:00:00

最近更新2026-09-04 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

官方实现，算法细节与论文一致，可信度高
自博弈机制减少对人工偏好标注的依赖，降低对齐成本
训练流程设计清晰，易于复现和二次开发

不足之处

项目处于早期，文档和社区支持待观察
对计算资源要求较高，小团队可能难以直接应用

适用场景

大语言模型对齐训练，替代或补充RLHF
数学推理和对话生成等任务上的模型优化
研究自博弈和偏好优化算法的学术实验

替代项目

DPO、ORPO、SimPO

项目介绍

SPPO 是模型训练领域的开源项目，由 uclaml 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 589。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-04。Apache-2.0许可，完全免费，可自行部署使用。

它主要面向的使用场景是：大语言模型对齐训练，替代或补充RLHF。同类可对比的替代方案包括 DPO、ORPO、SimPO。

上一篇：codebase-for-incremental-learning-with-llm

下一篇：CorDA