mini-verl

单张消费级显卡就能跑 PPO/GRPO 对齐训练

mini-verl 是字节跳动 verl 强化学习训练框架的轻量单卡版本，目标是在一张消费级 NVIDIA GPU（如 RTX 3090/4090）上跑通大模型对齐训练。它把原本需要多卡集群的 PPO、GRPO 以及 on-policy 知识蒸馏流程做了显存与工程简化，让个人开发者也能用单卡完成从 SFT 模型到 RLHF 风格对齐的完整实验。核心能力包括：支持 PPO 与 GRPO 两种主流策略优化算法，支持 on-policy distillation 做教师模型到学生模型的知识迁移，集成 PEFT/LoRA 降低显存占用，并保留 verl 的模块化设计便于替换 reward model 与 rollout 逻辑。项目定位不是生产级大规模训练，而是教学、复现和小规模 agentic RL 实验的入门工具，适合想理解 RLHF 内部机制但缺少多卡资源的开发者。