FPO

用强化学习微调流匹配VLA机器人策略

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 4
GitHub ↗
GitHub 星标 ★ 131
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码,论文附代码,免费使用

项目预览

FPO 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队tuotuoLyu
定价模式🏷️完全免费
价格说明开源代码,论文附代码,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型aloha,flow-matching,icra2026,jax,libero,reinforcement-learning,robot-learning,vision-language-action
GitHub 星标★ 131
上线时间2026-10-29 00:00:00
代码更新2026-10-29
仓库体积1.8 MB
本站数据更新2026-11-11
维护状态较活跃
收录时间2026-11-11
浏览次数0

项目介绍

FPO 是论文《Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models》的官方实现,面向视觉-语言-动作(VLA)模型,提出 Flow Policy Optimization,用于对基于流匹配(flow-matching)的机器人策略做强化学习微调。项目解决的核心问题是:流匹配策略通常依赖模仿学习训练,难以直接利用奖励信号优化;FPO 通过将流匹配去噪过程与策略优化结合,让 pi0 类 VLA 模型在 ALOHA、LIBERO 等操作任务上通过强化学习进一步提升成功率。代码基于 Python 与 JAX 实现,包含训练与评测流程,并配套论文实验配置。适合研究机器人学习、VLA 模型后训练与强化学习微调的研究者复现与二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 131

核心亮点

  • 给出流匹配策略强化学习微调的完整官方实现,可直接复现 ICRA 2026 论文实验
  • 面向 pi0 等 VLA 模型,支持 ALOHA、LIBERO 等主流机器人操作基准
  • 基于 JAX 实现,训练与评测流程配套齐全,便于研究者二次开发

不足之处

  • 早期项目,星标与社区规模较小,文档和问题排查资料有限
  • 依赖特定机器人数据集与仿真环境,复现门槛和算力要求较高

适用场景

  • 机器人操作策略的强化学习后训练研究
  • VLA 模型在 LIBERO 等基准上的微调与评测
  • 流匹配策略优化算法的复现与改进实验

替代项目

OpenVLA、LeRobot、Octo

上一篇:tinker-ai-skill

下一篇:没有了!

同类项目推荐

nncf 开源

压缩模型,让 OpenVINO 推理更快更省资源

Neural Network Compression Framework for enhanced OpenVINO™ inference

★ 1219 2026-09-13
PSEC 开源

让AI智能体像搭积木一样,在参数空间里不断学习新技能、组合旧技能,应对新挑战。

[ICLR 2025] The offical implementation of "PSEC: Skill Expansion and Composition in ···

★ 68 2026-08-09
q-diffusion 开源

把扩散模型压到低比特,省内存还提速,生成质量不掉线。

[ICCV 2023] Q-Diffusion: Quantizing Diffusion Models.

★ 381 2026-08-09
lmms-engine 开源

一套引擎搞定多模态模型训练,快速上手,灵活扩展。

A simple, unified multimodal models training engine. Lean, flexible, and built for h···

★ 833 2026-08-09
AAAI2025_MIA-Tuner 开源

一句话识别文本是否来自模型预训练数据,助力隐私审计。

[AAAI'25 Oral] "MIA-Tuner: Adapting Large Language Models as Pre-training Text Detec···

★ 131 2026-08-09
nanotron 开源

极简代码跑通千亿模型3D并行训练

Minimalistic large language model 3D-parallelism training

★ 2856 2026-09-25
Kiln 开源

一站式搞定 AI 系统开发:从数据标注到微调评估,全流程可视化协作

Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, ···

★ 5267 2026-08-10
Firefly 开源

一键微调 20+ 主流大模型,快速定制专属 AI

Firefly: 大模型训练工具,支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCP···

★ 6641 2026-08-09
agent-lightning 开源

训练智能体像训练模型一样顺,调优不再全靠试

The absolute trainer to light up AI agents.

★ 18935 2026-08-09