Directional-Preference-Alignment
用方向性偏好让模型对齐更精准，训练更稳定
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 61
核心亮点
- 提出新颖的方向性偏好优化思路，区别于传统 DPO/RLHF
- 代码结构清晰，便于二次开发和实验复现
- 提供灵活配置，支持自定义数据集和模型
不足之处
- 文档/社区待观察
- 项目处于早期，功能完整性和生态成熟度有限
适用场景
- 研究大模型对齐算法的新方法验证
- 企业微调模型时提升指令遵循能力
- 学术实验对比不同偏好优化策略
替代项目
DPO (Direct Preference Optimization)、TRL (Transformer Reinforcement Learning)、RLHF (Reinforcement Learning from Human Feedback)
同类项目推荐
GeoPT
开源
用几何预训练，让物理仿真又快又准
Official Code for "GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Traini···
VLM-R1
开源
用强化学习让视觉模型学会推理，少数据也能提升定位精度。
Solve Visual Understanding with Reinforced VLMs
optimum-quanto
开源
几行代码把 PyTorch 模型压成 int8/int4，省显存提速
A pytorch quantization backend for optimum
ReAlign
开源
换个数据格式，让模型更听话
Reformatted Alignment
FeynRL
开源
换目标、换采样，后训练实验一套框架跑通
Post-training framework for large models, from new objectives to new rollout systems···
lora-inspector
开源
拆开 LoRA 黑盒，看清每层权重学了啥
LoRA (Low-Rank Adaptation) inspector for Stable Diffusion
VADER
开源
用奖励梯度微调视频模型，让生成结果更合你心意
Video Diffusion Alignment via Reward Gradients. We improve a variety of video diffus···
shortened-llm
开源
压缩LLM，推理提速，显存减半，生成依旧流畅。
Compressed LLMs for Efficient Text Generation [ICLR'24 Workshop]
physicsnemo
开源
用物理规律训练神经网络，让仿真又快又准
Open-source deep-learning framework for building, training, and fine-tuning deep lea···