RWKV-PEFT

低成本微调 RWKV 模型,单卡也能跑

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 46 🐛 待处理 8 👀 关注 6
GitHub ↗
GitHub 星标 ★ 187
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

RWKV-PEFT 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队Joluck
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 187
上线时间2023-11-02 00:00:00
代码更新2026-10-22
仓库体积3.1 MB
本站数据更新2026-11-13
维护状态较活跃
收录时间2026-11-13
浏览次数0

项目介绍

RWKV-PEFT 是面向 RWKV 系列模型的参数高效微调(PEFT)工具库,目标是在有限显存与算力下完成 RWKV 模型的领域适配与指令微调。项目把多种主流轻量微调方法整合到统一训练框架中,用户无需改动模型主体结构,只需选择微调策略并配置数据集即可启动训练。核心能力包括:支持多种 PEFT 策略切换、兼容 RWKV 不同代际模型、提供训练脚本与配置示例、可对接常见指令数据集格式,并保留推理与权重合并路径。它解决的是全参数微调成本高、显存占用大、实验迭代慢的问题,适合个人开发者和小团队在单卡或少量显卡上做快速验证与定制化训练。项目以 Python 实现,代码结构清晰,便于二次开发与集成到自有训练流水线。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 187

核心亮点

  • 把多种参数高效微调方法收进同一套训练入口,切换策略只需改配置,减少重复搭脚手架的工作
  • 面向 RWKV 模型做适配,训练脚本和配置示例可直接跑通,降低上手门槛
  • 显存占用低于全参数微调,适合单卡或少量显卡做快速实验与领域适配

不足之处

  • 项目仍处早期,星标与社区规模较小,遇到问题可参考的案例和讨论有限
  • 对非 RWKV 架构模型的支持有限,通用性不如主流 PEFT 框架

适用场景

  • 个人开发者在单卡环境对 RWKV 模型做指令微调
  • 小团队为垂直领域语料定制 RWKV 对话模型
  • 研究者对比不同 PEFT 策略在 RWKV 上的效果

替代项目

peft、LLaMA-Factory、unsloth

上一篇:FPO

下一篇:没有了!

同类项目推荐

Agent-R1 开源

端到端强化学习,训练出能自主决策的 LLM Agent

Agent-R1: Training Powerful LLM Agents with End-to-End Reinforcement Learning

★ 1720 2026-08-09
kokoro-ruslan 开源

用 Ruslan 语料库训练俄语 Kokoro 语音模型

Kokoro Language Model Training Script for Russian (Ruslan Corpus)

★ 71 2026-08-09
amazon-sagemaker-examples 开源

照着跑一遍,轻松上手 AWS 机器学习全流程

Example Jupyter notebooks that demonstrate how to build, train, and deploy machine ···

★ 11009 2026-08-09
traceml 开源

一键诊断 PyTorch 训练瓶颈,提升 GPU 利用率

Find why PyTorch training is slow, compare runs, and catch performance regressions i···

★ 188 2026-08-09
MotionRFT 开源

给文本生成动作模型做轻量强化微调

[ICLR'26 & TPAMI‘26] This repository is the official implementation of "EasyTune: E···

★ 256 2026-10-28
ao 开源

PyTorch 原生量化,训练推理一起提速省显存

PyTorch native quantization for training and inference

★ 3027 2026-10-17
AwesomeOPD 开源

一站式速览在线策略蒸馏,紧跟LLM前沿

Awesome List for On-Policy Distillation

★ 883 2026-08-09
ml-mdm 开源

用更少数据和算力,训出高质量文生图模型

Train high-quality text-to-image diffusion models in a data & compute efficient mann···

★ 516 2026-09-17
MirrorFlow 开源

对话喂出来的数字分身,越聊越像你自己。

从对话数据到训练:数字分身 + 模型蒸馏 From Dialogue Data to Training Closed-Loop: D···

★ 73 2026-08-09