vime

用 vLLM 加速 LLM 强化学习后训练,采样更快、规模更大

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 116 🐛 待处理 115 👀 关注 2
GitHub ↗
GitHub 星标 ★ 506
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无官方定价信息

项目预览

vime 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队vllm-project
定价模式🏷️完全免费
价格说明开源免费,无官方定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 506
上线时间2026-05-11 00:00:00
代码更新2026-11-19
仓库体积16.9 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数3

项目介绍

vime 是一个面向大语言模型后训练的开源框架,核心思路是把 vLLM 的高吞吐推理能力引入强化学习训练流程,解决 RL 后训练阶段采样速度慢、GPU 利用率低的问题。它主要服务于需要做 RLHF、GRPO 等强化学习微调的团队,让策略模型在生成 rollout 时不再受限于传统 HuggingFace 推理的低效。框架围绕 vLLM 构建了采样、奖励计算、策略更新等环节的调度,支持在训练与推理之间共享或切换权重,从而在扩展 RL 训练规模时保持较高吞吐。项目用 Python 实现,定位为训练侧基础设施,适合已有 vLLM 使用经验、想把 RL 后训练从实验推向更大规模的研究者或工程团队。当前星标约 482,属于早期项目,API 和文档仍在演进中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 506

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • 多卡 GPU
  • Python 3.10+
  • 较大显存

安装与启动步骤

  1. 1装训练依赖

    它把训练与推理两套栈接在一起。

    apt install pre-commit -y
  2. 2准备权重

    训练从已有权重起步。

  3. 3跑训练

    配置驱动,先小规模验证。

  4. 4跑推理对比

    训练完要用同一套推理栈验收。

  5. 5看吞吐变化

    它的目标是训练效率,不是新能力。

如何确认成功

用同一批数据跑通训练与推理,吞吐相比基线有可测量提升且输出质量没有下降

注意事项

  • 它把大规模训练框架与高效推理引擎对接,目标是训练效率。
  • 不是新模型,是训练侧的工程优化。
  • 多卡环境才体现价值,单卡看不出差别。
  • 配置项多,先跑官方给的默认配置。

核心亮点

  • 把 vLLM 高吞吐推理接入 RL rollout,显著提升采样阶段效率
  • 面向 RL Scaling 设计,支持更大批量与更长训练规模
  • 基于 Python 与 vLLM 生态,已有 vLLM 经验的团队迁移成本低

不足之处

  • 项目处于早期,文档与示例相对有限
  • 社区规模小,遇到问题可参考的案例和讨论较少

适用场景

  • 团队用 GRPO/PPO 对 LLM 做数学推理强化学习后训练
  • 需要大规模 rollout 采样但受限于推理速度的 RLHF 流程
  • 已有 vLLM 部署经验,想复用到训练侧做策略迭代

替代项目

OpenRLHF、verl、TRL

上一篇:Composition-RL

下一篇:miles

同类项目推荐

LongLoRA 开源

用少量算力把大模型上下文拉到 100k+,长文本任务轻松搞定

Code and documents of LongLoRA and LongAlpaca (ICLR 2024 Oral)

★ 2684 2026-08-09
OnlineSPEC 开源

让草稿模型边推理边进化,解码速度越用越快

[ICML 2026] When Drafts Evolve: Speculative Decoding Meets Online Learning

★ 127 2026-08-09
LongRecipe 开源

把长文本压缩成短序列,高效训练长上下文模型。

LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Model···

★ 79 2026-08-09
Liger-Kernel 开源

不改模型结构,给 LLM 训练省显存提吞吐

Efficient Triton Kernels for LLM Training

★ 6705 2026-09-16
lightly-train 开源

一个命令搞定视觉模型预训练、微调和蒸馏,告别碎片化流程。

All-in-one training for vision models (YOLO, ViTs, RT-DETR, DINOv3): pretraining, fi···

★ 1743 2026-08-13
ZO-LLM 开源

用零阶优化在低显存下微调大模型,省内存不省效果

[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···

★ 131 2026-08-09
dpm-solver 开源

10步内完成扩散模型采样,图像生成提速数倍

Official code for "DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model S···

★ 1859 2026-08-09
Soup 开源

一个YAML搞定大模型微调,4GB显卡也能训8B模型

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GP···

★ 10669 2026-08-09
DPO-Shift 开源

修正 DPO 分布偏移,让模型对齐更稳更准

DPO-Shift: Shifting the Distribution of Direct Preference Optimization

★ 59 2026-08-09