DPO-Shift

修正 DPO 分布偏移，让模型对齐更稳更准

DPO-Shift 是一个针对直接偏好优化（DPO）算法的改进开源项目，旨在解决 DPO 训练中分布偏移的问题。在标准 DPO 中，模型在训练时使用的参考分布与推理时的实际分布不一致，导致生成质量下降。该项目通过动态调整优化目标，使模型在训练过程中逐步逼近目标分布，从而提升对齐效果。核心能力包括：实现分布偏移修正的 DPO 变体、提供与 Hugging Face transformers 和 peft 库的集成接口、支持 LoRA 等参数高效微调方式。项目代码基于 Python 编写，结构清晰，适合研究者复现实验或在此基础上扩展。目前项目处于早期阶段，星标数较少，但提供了实验配置和示例脚本，便于快速上手。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 59

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队Meaquadddd

所属国家

官网地址

GitHubhttps://github.com/Meaquadddd/DPO-Shift

定价模式free

价格说明开源项目，可自行部署使用，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型alignment,large-language-models,preference-alignment,rlhf

GitHub 星标★ 59

30天Star增速

HF 下载量

上线时间2025-02-10 00:00:00

最近更新2026-08-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

提出针对 DPO 分布偏移的明确改进方案，有理论动机
与 Hugging Face 生态集成，支持 LoRA 微调，易于实验
提供示例脚本和配置，复现门槛较低

不足之处

文档/社区待观察
项目早期，星标和贡献者少，稳定性待验证

适用场景

研究 DPO 算法改进的学术实验
需要更稳定对齐的大模型微调任务
探索偏好优化新方法的开发者

替代项目

DPO（原版直接偏好优化）、KTO（知识感知优化）、ORPO（无需参考模型的偏好优化）

项目介绍

DPO-Shift 是模型训练领域的开源项目，由 Meaquadddd 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 59。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-17。可自行部署使用，无付费版本。

它主要面向的使用场景是：研究DPO算法改进的学术实验。同类可对比的替代方案包括 DPO（原版直接偏好优化）、KTO（知识感知优化）、ORPO（无需参考模型的偏好优化）。

上一篇：Confucius-tool-learning

下一篇：rlhf-summary-notes