用方向性偏好让模型对齐更精准，训练更稳定
Directional Preference Alignment 是一个用于大语言模型对齐的早期开源项目，旨在通过方向性偏好优化来提升模型与人类意图的一致性。它解决传统 RLHF 或 DPO 方法中偏好信号利用不充分、训练不稳定等问题，核心能力是定义并利用偏好方向（即正负样本之间的差异向量）来引导模型参数更新，使模型更精准地学习期望行为。项目提供训练脚本、配置和示例，支持自定义数据集，适合研究者和工程师实验新的对齐算法。
DPO (Direct Preference Optimization)、TRL (Transformer Reinforcement Learning)、RLHF (Reinforcement Learning from Human Feedback)
Directional-Preference-Alignment 是模型训练领域的开源项目，由 RLHFlow 开发，2024 年首次发布。
它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 62。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-13。Apache-2.0许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：研究大模型对齐算法的新方法验证。同类可对比的替代方案包括 DPO (Direct Preference Optimization)、TRL (Transformer Reinforcement Learning)、RL…。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
