
vime
用 vLLM 加速 LLM 强化学习后训练,采样更快、规模更大
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 506
使用教程
环境要求
- 多卡 GPU
- Python 3.10+
- 较大显存
安装与启动步骤
-
1装训练依赖
它把训练与推理两套栈接在一起。
apt install pre-commit -y -
2准备权重
训练从已有权重起步。
-
3跑训练
配置驱动,先小规模验证。
-
4跑推理对比
训练完要用同一套推理栈验收。
-
5看吞吐变化
它的目标是训练效率,不是新能力。
如何确认成功
用同一批数据跑通训练与推理,吞吐相比基线有可测量提升且输出质量没有下降
注意事项
- 它把大规模训练框架与高效推理引擎对接,目标是训练效率。
- 不是新模型,是训练侧的工程优化。
- 多卡环境才体现价值,单卡看不出差别。
- 配置项多,先跑官方给的默认配置。
核心亮点
- 把 vLLM 高吞吐推理接入 RL rollout,显著提升采样阶段效率
- 面向 RL Scaling 设计,支持更大批量与更长训练规模
- 基于 Python 与 vLLM 生态,已有 vLLM 经验的团队迁移成本低
不足之处
- 项目处于早期,文档与示例相对有限
- 社区规模小,遇到问题可参考的案例和讨论较少
适用场景
- 团队用 GRPO/PPO 对 LLM 做数学推理强化学习后训练
- 需要大规模 rollout 采样但受限于推理速度的 RLHF 流程
- 已有 vLLM 部署经验,想复用到训练侧做策略迭代
替代项目
OpenRLHF、verl、TRL
上一篇:Composition-RL
下一篇:miles
同类项目推荐
LongLoRA
开源
用少量算力把大模型上下文拉到 100k+,长文本任务轻松搞定
Code and documents of LongLoRA and LongAlpaca (ICLR 2024 Oral)
OnlineSPEC
开源
让草稿模型边推理边进化,解码速度越用越快
[ICML 2026] When Drafts Evolve: Speculative Decoding Meets Online Learning
LongRecipe
开源
把长文本压缩成短序列,高效训练长上下文模型。
LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Model···
Liger-Kernel
开源
不改模型结构,给 LLM 训练省显存提吞吐
Efficient Triton Kernels for LLM Training
lightly-train
开源
一个命令搞定视觉模型预训练、微调和蒸馏,告别碎片化流程。
All-in-one training for vision models (YOLO, ViTs, RT-DETR, DINOv3): pretraining, fi···
ZO-LLM
开源
用零阶优化在低显存下微调大模型,省内存不省效果
[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···
dpm-solver
开源
10步内完成扩散模型采样,图像生成提速数倍
Official code for "DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model S···
Soup
开源
一个YAML搞定大模型微调,4GB显卡也能训8B模型
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GP···
DPO-Shift
开源
修正 DPO 分布偏移,让模型对齐更稳更准
DPO-Shift: Shifting the Distribution of Direct Preference Optimization