awesome-direct-preference-optimization

一网打尽DPO论文与代码，快速入门偏好对齐

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 1 🐛 待处理 2 👀 关注 2
GitHub ↗
GitHub 星标 ★ 94
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，无在线服务，需自行部署，完全免费。

项目预览

awesome-direct-preference-optimization 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队liushunyu
GitHubhttps://github.com/liushunyu/awesome-direct-preference-optimization
定价模式🏷️完全免费
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
技术栈/模型alignment,direct-preference-optimization,dpo,large-language-model,large-language-models,llm,llms,preference-learning,reinforcement-learning-from-human-feedback,review,survey
GitHub 星标★ 94
上线时间2024-11-26 00:00:00
代码更新2025-07-04
仓库体积3.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

这是一个关于直接偏好优化（Direct Preference Optimization, DPO）的精选资源列表，旨在系统梳理该领域的研究进展。DPO是一种用于对齐大语言模型与人类偏好的训练方法，相比传统的RLHF（基于人类反馈的强化学习）更简单高效。该项目以综述形式整理了DPO相关的论文、代码、教程和工具，帮助研究者和工程师快速了解DPO的核心思想、变体（如IPO、KTO等）以及应用场景。它解决了从海量文献中筛选关键信息的问题，提供了结构化的知识入口。核心能力包括：分类整理DPO论文、关联开源实现、标注方法差异、提供入门指南。适合作为该领域的学习地图和参考手册。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 94

核心亮点

  • 系统梳理DPO论文，按方法变体分类，便于横向对比
  • 收录了配套开源实现，理论到实践一步到位
  • 持续更新，紧跟DPO领域最新进展

不足之处

  • 项目处于早期，部分分类和注释可能不够完善
  • 文档/社区待观察

适用场景

  • 研究DPO方法时快速查找相关论文和基线
  • 工程选型时对比不同偏好优化方法的实现
  • 入门学习DPO，了解其与RLHF的差异

替代项目

awesome-rlhf、awesome-llm-alignment、awesome-preference-optimization

上一篇：MGDebugger

下一篇：TrustLLM

同类项目推荐

XRAG 开源

给 RAG 系统做全面体检，量化每个核心模块的真实实力

XRAG: eXamining the Core - Benchmarking Foundational Component Modules in Advanced R···

★ 611 2026-08-09
heurigym 开源

用 LLM 设计优化算法，一键评测智能体启发式能力

Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization (ICLR'26)

★ 96 2026-08-09
SemBench 开源

给语义查询引擎跑分，选型不再靠猜

Benchmarking Semantic Query Processing Engines

★ 69 2026-08-09
awesome-ai-leaderboard 开源

一榜在手，AI模型强弱全看透

A curated list of awesome leaderboard-oriented resources for AI domain

★ 384 2026-08-09
SuperCLUE 开源

测一测中文大模型哪家强，榜单见分晓

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese

★ 3308 2026-08-09
sim-evals 开源

把机器人策略丢进仿真跑分，省下真机评测的麻烦

A simulation evaluation platform for DROID

★ 243 2026-09-14
awesome-rsi 开源

一张图看懂 AI 自我改进的研究版图

A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···

★ 974 2026-09-30
Awesome-Video-MLLMs 开源

一站式追踪视频多模态大模型前沿，快速找到所需模型和基准。

:fire: :fire: :fire: Awesome MLLMs/Benchmarks for Short/Long/Streaming Video Underst···

★ 75 2026-08-09