miles

企业级 RL 后训练框架,让大模型和多模态模型快速做强化微调

开源 🏷️定价信息待确认 ✅ 目前可打开 模型训练 🍴 复刻 641 🐛 待处理 1007 👀 关注 22
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3383
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

miles 项目界面预览图
图片来源:项目官网

项目数据

分类模型训练
开发团队radixark
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 3383
上线时间2025-10-09 00:00:00
代码更新2026-11-21
仓库体积104.8 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数5

项目介绍

Miles 是一个面向企业场景的大模型强化学习后训练框架,支持 LLM 与 VLM 的 RL 微调,从 slime 项目 fork 而来并与其协同演进。它要解决的问题是:通用 RL 框架往往偏研究、工程化不足,企业难以在自有集群上稳定跑通大规模后训练。Miles 提供可扩展的训练编排、rollout 与训练解耦、分布式并行支持,并针对视觉语言模型做了适配,让团队能在已有基础设施上完成 SFT 之后的偏好对齐、推理增强等强化学习流程。核心能力包括灵活的采样与训练流水线、对多模态输入的支持、面向生产环境的容错与资源调度,以及与 slime 生态共享的算法实现。适合需要把 RL 后训练落地到业务模型、又不愿从零搭建训练栈的工程团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 3383

使用教程

难度:高级 约 60 分钟 部署方式:本地安装 7 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • NVIDIA GPU:GB300/GB200/B300/B200/H200/H100/A100 之一
  • 或 AMD GPU:MI355X/MI350X/MI325X/MI300X 之一
  • Python 环境(项目开发语言为 Python)
  • 已具备自有多卡集群与分布式训练环境

安装与启动步骤

  1. 1获取项目代码

    克隆 Miles 官方仓库到本地,后续所有安装与启动都基于该代码目录进行。

    git clone https://github.com/radixark/miles.git
  2. 2阅读安装文档

    README 未给具体安装命令,必须打开官方 Installation 文档按步骤安装依赖。

  3. 3核对硬件支持

    安装文档的 hardware requirements 一节按 GPU 型号列出支持状态,先确认你的卡在列。

  4. 4跑通 Quick Start

    按官方 Quick Start 页面提供的流程完成第一次训练运行,这是验证环境的最快方式。

  5. 5理解核心概念

    阅读 Core Concepts,弄清 rollout 与训练解耦、采样与训练流水线的组织方式。

  6. 6选择训练配方

    按任务目标在 GRPO、GSPO、PPO、REINFORCE++ 中选算法,SFT 与在线蒸馏另有文档。

  7. 7参考启动脚本

    对照 Launch Script Walkthrough 理解官方启动脚本的结构,再改成自己的配置。

如何确认成功

Miles 未在 README 中给出启动成功标志,请按官方 Quick Start 文档的预期输出核对训练日志与 rollout 进程状态。

常见问题

Q:Miles 支持哪些硬件?

A:NVIDIA GB300/GB200/B300/B200/H200/H100/A100,以及 AMD MI355X/MI350X/MI325X/MI300X;逐卡支持状态见安装文档的 hardware requirements。

Q:支持哪些 RL 算法?

A:RL 方面支持 GRPO、GSPO、PPO、REINFORCE++,另外还支持 SFT 和 on-policy distillation(在线策略蒸馏)。

Q:支持多模态模型吗?

A:支持。Inkling 等前沿多模态模型在发布当天即完成支持,Miles 本身也面向 LLM 与 VLM 的 RL 微调。

Q:Miles 和 slime 是什么关系?

A:Miles 从 slime 项目 fork 而来,并与其协同演进,两者共享算法实现与生态。

Q:扩散模型能用 Miles 吗?

A:可以,走 Miles-diffusion 仓库,提供 Flow-GRPO、DiffusionNFT 和 SFT,后端为 sglang-diffusion rollout 引擎加 FSDP2 训练器。

注意事项

  • 本 README 节选未包含任何安装命令,所有安装步骤必须以官网 Installation 文档为准,不要凭猜测执行包安装。
  • 不同 GPU 型号支持状态不同,部署前务必先核对 hardware requirements 页面。
  • AMD ROCm 用户需要改用文档中提供的 ROCm 镜像,与 NVIDIA 路径不同。
  • 大规模后训练需要自备多卡集群,Miles 面向企业生产环境的容错与资源调度场景。

核心亮点

  • 支持 LLM 与 VLM 两类模型的强化学习后训练,覆盖多模态对齐需求
  • 从 slime fork 并协同演进,可复用其算法与工程积累,降低从零搭建成本
  • 面向企业场景设计,强调生产可用性与分布式训练编排,而非纯研究原型

不足之处

  • 项目相对年轻,文档与最佳实践积累可能不够完善
  • 与上游 slime 协同演进,版本兼容和迁移成本需要额外关注

适用场景

  • 企业用自有数据对客服大模型做 RLHF 偏好对齐
  • 多模态模型在图文任务上的强化学习微调
  • 在已有 GPU 集群上搭建可复用的后训练流水线

替代项目

slime、OpenRLHF

上一篇:vime

下一篇:EasySteer

同类项目推荐

llm4regression 开源

不训练模型,看大模型能否从例子中学会回归

Examining how large language models (LLMs) perform across various synthetic regressi···

★ 161 2026-08-09
hud-python 开源

一次定义环境,训练任意智能体,快速评估效果。

RL environments + evals for AI agents. Define once, train anything.

★ 330 2026-08-10
LoongForge 开源

一套框架,NVIDIA 和昆仑芯通吃,搞定大模型全流程训练

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···

★ 881 2026-08-13
Time-R1 开源

用三阶段强化学习,让大模型真正理解时间、预测未来。

Time-R1: Framework and resources for endowing LLMs with comprehensive temporal reaso···

★ 72 2026-08-09
DMax 开源

让扩散大模型生成提速,并行解码不再卡顿

[NeurIPS 2026] DMax: Aggressive Parallel Decoding for dLLMs

★ 131 2026-08-09
aim 开源

几行代码接入,秒级对比海量实验,训练调参效率翻倍

Aim — An easy-to-use & supercharged open-source experiment tracker.

★ 6297 2026-08-09
ktransformers 开源

单卡甚至纯CPU跑大模型,显存不够也能玩转MoE推理微调

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimiza···

★ 19689 2026-09-16
notebooks 开源

照着 Notebook 改数据路径,就能微调 250+ 大模型

250+ Fine-tuning & RL Notebooks for text, vision, audio, embedding, TTS models.

★ 5828 2026-09-16
Fizgig 开源

一站式训练、剖析、修复和提取 Krea 2 与 Flux 2 的 LoRA/LoKR

Fizgig — LoRA & Fine-tune Studio for Klein 9B, Krea 2, MiniMax H3, Qwen Image 2.1, ···

★ 785 2026-08-09