mini-verl

单张消费级显卡就能跑 PPO/GRPO 对齐训练

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 模型训练 🍴 复刻 75 🐛 待处理 1 👀 关注 53
GitHub ↗
GitHub 星标 ★ 311
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费，PyPI可安装

项目预览

mini-verl 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类模型训练
开发团队DaoyuanLi2816
GitHubhttps://github.com/DaoyuanLi2816/mini-verl
定价模式🏷️完全免费
价格说明开源免费，PyPI可安装
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agentic-rl,alignment,consumer-gpu,grpo,knowledge-distillation,llm,llm-agents,llm-alignment,on-policy-distillation,peft,post-training,ppo,qlora,qwen,reinforcement-learning,single-gpu,tool-use,verl
GitHub 星标★ 311
上线时间2026-07-27 00:00:00
代码更新2026-09-15
仓库体积3.9 MB
本站数据更新2026-11-15
维护状态维护中
收录时间2026-09-30
浏览次数3

项目介绍

mini-verl 是字节跳动 verl 强化学习训练框架的轻量单卡版本，目标是在一张消费级 NVIDIA GPU（如 RTX 3090/4090）上跑通大模型对齐训练。它把原本需要多卡集群的 PPO、GRPO 以及 on-policy 知识蒸馏流程做了显存与工程简化，让个人开发者也能用单卡完成从 SFT 模型到 RLHF 风格对齐的完整实验。核心能力包括：支持 PPO 与 GRPO 两种主流策略优化算法，支持 on-policy distillation 做教师模型到学生模型的知识迁移，集成 PEFT/LoRA 降低显存占用，并保留 verl 的模块化设计便于替换 reward model 与 rollout 逻辑。项目定位不是生产级大规模训练，而是教学、复现和小规模 agentic RL 实验的入门工具，适合想理解 RLHF 内部机制但缺少多卡资源的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-30 · 当前星标 ★ 311

核心亮点

  • 单卡即可运行 PPO、GRPO 与 on-policy 蒸馏，显存门槛远低于原版 verl
  • 继承 verl 模块化设计，rollout、reward、trainer 可替换，便于改实验
  • 集成 PEFT/LoRA，进一步压低消费级 GPU 的显存占用

不足之处

  • 仅面向单卡小规模场景，吞吐和并行能力有限，不适合生产训练
  • 早期项目，文档与社区案例相对少，踩坑需自行读源码

适用场景

  • 个人开发者用一张 4090 复现 GRPO 对齐实验
  • 高校课程或自学中理解 PPO/RLHF 训练流程
  • 小团队在单卡上做 agentic RL 的快速原型验证

替代项目

verl、TRL、OpenRLHF

上一篇：verl-vla

下一篇：SMILE-factory

同类项目推荐

AI-Toolkit-Easy-Install 开源

Windows 上一键装好 AI 微调工具，免折腾环境直接开训

One-click Portable Windows installation of 'AI-Toolkit by Ostris'

★ 544 2026-08-09
OneTrainer 开源

图形化界面搞定扩散模型训练，从 LoRA 到全量微调一站式完成。

OneTrainer is a one-stop solution for all your Diffusion training needs.

★ 3265 2026-08-10
OpenThoughts-Agent 开源

一套配方搞定 Agent 训练数据与流程

Data recipes and robust infrastructure for training AI agents

★ 311 2026-10-17
RewardModelingBeyondBradleyTerry 开源

用新理论替代Bradley-Terry，让奖励建模更准

official implementation of ICLR'2025 paper: Rethinking Bradley-Terry Models in Prefe···

★ 74 2026-08-09
OnlineSPEC 开源

让草稿模型边推理边进化，解码速度越用越快

[ICML 2026] When Drafts Evolve: Speculative Decoding Meets Online Learning

★ 127 2026-08-09
mlx-tune 开源

在 Mac 上本地微调大模型，多模态全支持，速度飞快

Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Emb···

★ 1472 2026-08-09
aim 开源

几行代码接入，秒级对比海量实验，训练调参效率翻倍

Aim — An easy-to-use & supercharged open-source experiment tracker.

★ 6298 2026-08-09
trainer 开源

在 Kubernetes 上轻松跑起分布式模型训练和微调

Distributed AI Model Training and LLM Fine-Tuning on Kubernetes

★ 2284 2026-08-09