用细粒度人类纠错对齐模型行为，大幅减少视觉幻觉。
RLHF-V 是一个面向多模态大语言模型（MLLMs）的可信行为对齐框架，核心解决模型在视觉对话中产生幻觉（如描述不存在的物体）的问题。它通过收集细粒度的修正性人类反馈（即人类对模型错误回答进行精确纠错），并利用这些反馈进行偏好优化，使模型行为与人类意图更一致。项目提供了完整的训练代码、数据生成流程和评估基准，支持基于 LLaVA 等主流架构的模型微调。其核心能力包括：从人类修正中构建高质量偏好对、使用直接偏好优化（DPO）算法高效对齐、以及显著降低模型幻觉率。该工作发表于 CVPR 2024，为构建可信赖的视觉语言助手提供了实用方案。
LLaVA-RLHF、RLHF-V (原项目)、Vision-Flan
RLHF-V 是模型训练领域的开源项目，由 RLHF-V 开发，2023 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 311。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-15。项目为研究性质，官网提供演示页面，但未明确收费信息，定价。从国内网络环境看，可直接访问。
它主要面向的使用场景是：多模态助手幻觉问题治理。同类可对比的替代方案包括 LLaVA-RLHF、RLHF-V (原项目)、Vision-Flan。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
