项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 3383
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- NVIDIA GPU:GB300/GB200/B300/B200/H200/H100/A100 之一
- 或 AMD GPU:MI355X/MI350X/MI325X/MI300X 之一
- Python 环境(项目开发语言为 Python)
- 已具备自有多卡集群与分布式训练环境
安装与启动步骤
-
1获取项目代码
克隆 Miles 官方仓库到本地,后续所有安装与启动都基于该代码目录进行。
git clone https://github.com/radixark/miles.git -
2阅读安装文档
README 未给具体安装命令,必须打开官方 Installation 文档按步骤安装依赖。
-
3核对硬件支持
安装文档的 hardware requirements 一节按 GPU 型号列出支持状态,先确认你的卡在列。
-
4跑通 Quick Start
按官方 Quick Start 页面提供的流程完成第一次训练运行,这是验证环境的最快方式。
-
5理解核心概念
阅读 Core Concepts,弄清 rollout 与训练解耦、采样与训练流水线的组织方式。
-
6选择训练配方
按任务目标在 GRPO、GSPO、PPO、REINFORCE++ 中选算法,SFT 与在线蒸馏另有文档。
-
7参考启动脚本
对照 Launch Script Walkthrough 理解官方启动脚本的结构,再改成自己的配置。
如何确认成功
Miles 未在 README 中给出启动成功标志,请按官方 Quick Start 文档的预期输出核对训练日志与 rollout 进程状态。
常见问题
Q:Miles 支持哪些硬件?
A:NVIDIA GB300/GB200/B300/B200/H200/H100/A100,以及 AMD MI355X/MI350X/MI325X/MI300X;逐卡支持状态见安装文档的 hardware requirements。
Q:支持哪些 RL 算法?
A:RL 方面支持 GRPO、GSPO、PPO、REINFORCE++,另外还支持 SFT 和 on-policy distillation(在线策略蒸馏)。
Q:支持多模态模型吗?
A:支持。Inkling 等前沿多模态模型在发布当天即完成支持,Miles 本身也面向 LLM 与 VLM 的 RL 微调。
Q:Miles 和 slime 是什么关系?
A:Miles 从 slime 项目 fork 而来,并与其协同演进,两者共享算法实现与生态。
Q:扩散模型能用 Miles 吗?
A:可以,走 Miles-diffusion 仓库,提供 Flow-GRPO、DiffusionNFT 和 SFT,后端为 sglang-diffusion rollout 引擎加 FSDP2 训练器。
注意事项
- 本 README 节选未包含任何安装命令,所有安装步骤必须以官网 Installation 文档为准,不要凭猜测执行包安装。
- 不同 GPU 型号支持状态不同,部署前务必先核对 hardware requirements 页面。
- AMD ROCm 用户需要改用文档中提供的 ROCm 镜像,与 NVIDIA 路径不同。
- 大规模后训练需要自备多卡集群,Miles 面向企业生产环境的容错与资源调度场景。
核心亮点
- 支持 LLM 与 VLM 两类模型的强化学习后训练,覆盖多模态对齐需求
- 从 slime fork 并协同演进,可复用其算法与工程积累,降低从零搭建成本
- 面向企业场景设计,强调生产可用性与分布式训练编排,而非纯研究原型
不足之处
- 项目相对年轻,文档与最佳实践积累可能不够完善
- 与上游 slime 协同演进,版本兼容和迁移成本需要额外关注
适用场景
- 企业用自有数据对客服大模型做 RLHF 偏好对齐
- 多模态模型在图文任务上的强化学习微调
- 在已有 GPU 集群上搭建可复用的后训练流水线
替代项目
slime、OpenRLHF
同类项目推荐
llm4regression
开源
不训练模型,看大模型能否从例子中学会回归
Examining how large language models (LLMs) perform across various synthetic regressi···
hud-python
开源
一次定义环境,训练任意智能体,快速评估效果。
RL environments + evals for AI agents. Define once, train anything.
LoongForge
开源
一套框架,NVIDIA 和昆仑芯通吃,搞定大模型全流程训练
A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···
Time-R1
开源
用三阶段强化学习,让大模型真正理解时间、预测未来。
Time-R1: Framework and resources for endowing LLMs with comprehensive temporal reaso···
DMax
开源
让扩散大模型生成提速,并行解码不再卡顿
[NeurIPS 2026] DMax: Aggressive Parallel Decoding for dLLMs
aim
开源
几行代码接入,秒级对比海量实验,训练调参效率翻倍
Aim — An easy-to-use & supercharged open-source experiment tracker.
ktransformers
开源
单卡甚至纯CPU跑大模型,显存不够也能玩转MoE推理微调
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimiza···
notebooks
开源
照着 Notebook 改数据路径,就能微调 250+ 大模型
250+ Fine-tuning & RL Notebooks for text, vision, audio, embedding, TTS models.
Fizgig
开源
一站式训练、剖析、修复和提取 Krea 2 与 Flux 2 的 LoRA/LoKR
Fizgig — LoRA & Fine-tune Studio for Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, ···
