RLCSD

用对比自蒸馏强化 RL 训练，让策略更稳更高效

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 5 🐛 待处理 1 👀 关注 2
GitHub ↗
GitHub 星标 ★ 116
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

RLCSD 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队THU-BPM
GitHubhttps://github.com/THU-BPM/RLCSD
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models,llm,on-policy-distillation,opd,opsd,reinforcement-learning,self-distillation
GitHub 星标★ 116
上线时间2026-06-05 00:00:00
代码更新2026-09-14
仓库体积4.8 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

RLCSD 是论文《RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation》的官方开源实现，旨在通过对比式在线自蒸馏方法提升强化学习（RL）策略的性能与样本效率。该项目主要面向连续控制任务，在策略梯度算法（如 PPO）基础上引入自蒸馏机制，利用对比学习约束策略网络中间层表征，使策略在探索过程中保持表征一致性，从而缓解高维状态空间下的训练不稳定问题。核心能力包括：提供完整的 RLCSD 训练流程、与主流 RL 框架（如 Stable-Baselines3）集成、支持多种连续控制环境（如 MuJoCo）的基准测试，并附带论文中的实验配置与结果复现脚本。项目代码结构清晰，便于研究者扩展和对比实验，解决了传统 RL 算法在复杂连续控制任务中样本利用率低、收敛不稳定的痛点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 116

核心亮点

  • 创新性地将对比自蒸馏引入在线 RL，显著提升样本效率
  • 代码基于 Stable-Baselines3，易于集成和复现实验
  • 提供论文配套的配置和脚本，便于验证结果

不足之处

  • 文档/社区待观察
  • 仅支持连续控制任务，未覆盖离散动作空间

适用场景

  • 连续控制强化学习研究（如 MuJoCo 机器人控制）
  • 需要提升策略稳定性和样本效率的 RL 训练场景
  • 作为对比学习方法在 RL 中的基准测试

替代项目

SAC、TD3、PPO

上一篇：LLM-ESR

下一篇：TPA

同类项目推荐

stable-pretraining 开源

一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。

Reliable, minimal and scalable library for pretraining foundation and world models

★ 345 2026-08-09
sd-lora-trainer 开源

拖入图片，一键训练专属 LoRA，快速定制 SD 模型风格

LoRa trainer for SDXL and SD15

★ 70 2026-08-09
SMILE-factory 开源

用普通显卡微调大模型，LoRA 省显存快速上手

Finetune Falcon, LLaMA, MPT, and RedPajama on consumer hardware using PEFT LoRA

★ 106 2026-10-01
ai-toolkit 开源

写份配置就能微调扩散模型，LoRA 训练开箱即用

The ultimate training toolkit for finetuning diffusion models

★ 12586 2026-10-12
rllm 开源

让LLM强化学习训练像搭积木一样简单，快速提升模型推理能力。

Democratizing Reinforcement Learning for LLMs

★ 5912 2026-08-09
SteptronOss 开源

一套配置跑通大模型微调、强化与评测

A lightweight, AI-native training framework for large language models. Designed for ···

★ 589 2026-09-15
distill-sd 开源

把大模型蒸馏成小模型，低显存也能跑高质量图像生成

Segmind Distilled diffusion

★ 619 2026-08-09
HoliTom 开源

合并视频令牌，让视频大模型推理快数倍

[NeurIPS 2025] HoliTom: Holistic Token Merging for Fast Video Large Language Models

★ 86 2026-08-09
DiffusionART 开源

给扩散模型做稳定高效的强化学习后训练

Official Implementation of "DiffusionART: Efficient, Stable and Scalable Reinforceme···

★ 227 2026-10-21