
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1873
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- NVIDIA GPU 与 CUDA 环境(示例使用 vLLM + torch.cuda)
- Python 环境,需安装 torch、transformers、vllm、tqdm(源自 README 示例 import)
- 可访问 HuggingFace 下载模型 PRIME-RL/Eurus-2-7B-PRIME(约 7B 参数)
- Python 3.x 运行环境与足够磁盘空间存放模型权重
安装与启动步骤
-
1克隆项目仓库
README 未给安装命令,先从项目地址拉取代码,得到 training、data_preprocessing、eval 三个目录。
git clone https://github.com/PRIME-RL/PRIME.git -
2进入项目目录
切换到仓库根目录,后续脚本与数据准备都以该目录为基准。
cd PRIME -
3安装推理依赖
README 推理示例导入了这些库,建议在独立虚拟环境中安装,版本按各自兼容性选择。
pip install torch transformers vllm tqdm -
4设置任务提示词
数学题追加 Present the answer in LaTex format: \boxed{Your answer};代码题追加代码输出提示词。
-
5编写推理脚本
把 README 的 inference code 保存为 py 文件,按需修改 model_path 与 all_problems。
-
6运行推理验证
执行保存的脚本,观察控制台打印的 completions 与推理步骤是否符合预期。
python prime_inference.py
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
model_path | 是 | 要加载的模型路径或 HuggingFace 模型名 | PRIME-RL/Eurus-2-7B-PRIME |
tensor_parallel_size | 否 | 张量并行规模,示例取当前可见 GPU 数量 | torch.cuda.device_count() |
gpu_memory_utilization | 否 | vLLM 占用的显存比例 | 0.90 |
max_tokens | 否 | 采样最大生成长度 | 8192 |
temperature | 否 | 采样温度,示例为贪心解码 | 0.0 |
n | 否 | 每个问题的采样条数 | 1 |
如何确认成功
脚本打印出回答,内容含 [ASSESS]/[ADVANCE]/[OUTPUT] 等推理步骤并以 \boxed{9.9} 给出结论即为成功。
常见问题
Q:训练、数据处理和评测代码分别在哪里?
A:README 说明 training 为训练实现与脚本,data_preprocessing 负责数据准备(尤其是数学数据),eval 为复现结果的评测脚本。
Q:隐式 PRM 的训练和评测怎么做?
A:README 指引到 PRIME-RL/ImplicitPRM 这个独立仓库,不在本仓库内提供。
Q:不同任务需要不同提示词吗?
A:需要。数学题使用 LaTex \boxed{} 提示词,代码题使用要求以 ```python``` 代码块给出解答的提示词。
Q:有没有更省事的集成方式?
A:2025/03/12 起 PRIME 已合并进 veRL 主分支,可直接使用 volcengine/verl 的 recipe/prime 目录。
注意事项
- README 未给出依赖清单与安装命令,pip 依赖由示例代码的 import 推断,请自行确认版本兼容。
- 示例推理需要 GPU,vLLM 会按 tensor_parallel_size 与 gpu_memory_utilization 分配显存。
- 数学与代码任务必须分别套用 README 提供的提示词模板,否则结果格式可能不符合预期。
- 仓库仅提供训练/评测/数据处理代码目录说明,具体启动方式需进入各目录查看。
核心亮点
- 提供开箱即用的 RL 训练管线,降低强化学习应用门槛
- 针对长链推理优化,显著提升数学、代码等任务表现
- 支持分布式扩展,适合大规模模型训练场景
不足之处
- 文档/社区待观察
- 对硬件资源要求较高,小团队可能难以复现
适用场景
- 大模型数学推理能力增强
- 代码生成与逻辑推理优化
- 科研机构进行 RL 算法研究
替代项目
TRL、OpenRLHF、verl
下一篇:katib
同类项目推荐
instruction-tuned-sd
开源
微调Stable Diffusion,让它听懂指令改图
Code for instruction-tuning Stable Diffusion.
doc-to-lora
开源
让大模型随时记住新知识,不用重训
Hypernetworks that update LLMs to remember factual information
LRV-Instruction
开源
减少多模态模型胡说八道,让AI描述更靠谱
[ICLR'24] Mitigating Hallucination in Large Multi-Modal Models via Robust Instructio···
JetSpec
开源
让大模型推理更快:并行草稿树突破推测解码速度天花板
JetSpec++/JetSpec: Causal Parallel (Tree) Drafting with Self Refinement
Flipped-Learning
开源
让模型先猜指令再作答,零样本效果更强
[ICLR 2023] Guess the Instruction! Flipped Learning Makes Language Models Stronger Z···
burn-onnx
开源
把 ONNX 模型转成纯 Rust Burn 代码,推理微调不再依赖 Python
Convert ONNX models into native, backend-agnostic Burn code for inference and fine-t···
MyLLM
开源
跟着 Notebook 从数据到应用跑通大模型全流程
"LLM from Zero to Hero: An End-to-End Large Language Model Journey from Data to Appl···
stable_diffusion_dreambooth_inpa···
开源
用少量图片微调Stable Diffusion,实现个性化生成与局部修复。
Stable Diffusion Dreambooth Inpainting Finetuning
nano-world-model
开源
用扩散强制训练世界模型,让机器人看懂视频并规划动作。
A Minimalist, Batteries-included Repository for Advancing World Model Science.