项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 589
使用教程
环境要求
- GPU 多卡
- 推理框架
- 提示数据集
安装与启动步骤
-
1建环境
指定解释器版本，还要装推理框架。
conda create -n sppo python=3.10 -
2装依赖
先装推理框架，再装评测用的辅助库。
pip install vllm -
3准备提示集
训练与评测的提示要分开，别混。
-
4跑一轮自博弈
按脚本生成回答、排序、再训练。
bash run_sppo_mistral.sh -
5同口径评一遍
在同一套评测上对比训练前后的变化。
如何确认成功
训练后在同一评测集上胜率明显上升，且在通用能力上没有明显退化
注意事项
- 它的思路是让模型自己出题自己评判，不需要人工标注。
- 多轮迭代成本高，先跑一轮看趋势。
- 自评判会放大模型自身偏好，通用能力容易掉。
- 评测集一定要独立，否则数字没意义。
核心亮点
- 官方实现，算法细节与论文一致，可信度高
- 自博弈机制减少对人工偏好标注的依赖，降低对齐成本
- 训练流程设计清晰，易于复现和二次开发
不足之处
- 项目处于早期，文档和社区支持待观察
- 对计算资源要求较高，小团队可能难以直接应用
适用场景
- 大语言模型对齐训练，替代或补充RLHF
- 数学推理和对话生成等任务上的模型优化
- 研究自博弈和偏好优化算法的学术实验
替代项目
DPO、ORPO、SimPO
同类项目推荐
DataMate
开源
一站式搞定大模型微调与RAG的数据处理，让数据准备不再拖后腿
DataMate is an enterprise-level data processing platform designed for model fine-tun···
Olive
开源
一条配置流水线，把模型量化优化到各种硬件上跑
Olive: Simplify ML Model Finetuning, Conversion, Quantization, and Optimization for ···
Kiln
开源
一站式搞定 AI 系统开发：从数据标注到微调评估，全流程可视化协作
Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, ···
DiffusionART
开源
给扩散模型做稳定高效的强化学习后训练
Official Implementation of "DiffusionART: Efficient, Stable and Scalable Reinforceme···
KnowledgeCircuits
开源
拆解大模型内部知识电路，精准定位事实存储与推理路径
[NeurIPS 2024] Knowledge Circuits in Pretrained Transformers
ROLL
开源
大模型强化学习训练，一键从单机扩到集群
An Efficient and User-Friendly Scaling Library for Reinforcement Learning with Large···
vertex-ai-mlops
开源
照着做，就能在 Google Cloud 上跑通生产级 ML 流水线
Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations
brevitas
开源
PyTorch 模型一键量化，低比特也能高精度跑上 FPGA
Brevitas: neural network quantization in PyTorch
datablations
开源
数据不够时，教你如何最优训练大模型
Scaling Data-Constrained Language Models