RSD

用奖励模型引导投机解码，又快又好地生成文本。

RSD是一个基于奖励引导的投机解码（Speculative Decoding）方法，旨在提升大语言模型推理时的效率与效果。投机解码通过小模型草稿、大模型验证的方式加速生成，但传统方法仅关注接受率，可能生成低质量文本。RSD引入奖励模型（Reward Model）来引导草稿选择，在解码过程中动态调整候选序列，使最终输出更符合人类偏好或任务目标。该方法在ICML 2025发表，代码用Python实现，支持多种主流LLM框架。核心能力包括：利用奖励信号优化草稿接受策略、在保持生成质量的同时提高吞吐量、提供与现有投机解码流水线的轻量集成接口。适合需要高吞吐且对输出质量有严格要求的推理场景，如实时对话、内容审核等。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 57

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队BaohaoLiao

所属国家

官网地址

GitHubhttps://github.com/BaohaoLiao/RSD

定价模式free

价格说明开源项目，Apache-2.0许可证，可自由使用，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型decoding-algorithm,efficiency,large-language-models,process-reward-model,reasoning,speculative-decoding

GitHub 星标★ 57

30天Star增速

HF 下载量

上线时间2025-02-12 00:00:00

最近更新2026-09-14 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数8

使用教程

核心亮点

在投机解码中引入奖励模型，直接优化生成质量，而非单纯追求接受率
与现有投机解码框架兼容，集成成本低，可快速替换草稿策略
在ICML 2025发表，算法有理论保证，实验效果优于传统方法

不足之处

需要额外加载奖励模型，增加显存和计算开销
早期项目，文档和社区支持尚不完善

适用场景

大模型在线服务中降低推理延迟，同时保证回答质量
对生成内容有特定偏好（如安全性、有用性）的应用场景
批量文本生成任务中提升吞吐量，减少GPU消耗

替代项目

Medusa、EAGLE、Lookahead Decoding

项目介绍

RSD 是基础设施领域的开源项目，由 BaohaoLiao 开发，2025 年首次发布。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 57。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-14。Apache-2.0许可证，可自由使用，无付费版本。

它主要面向的使用场景是：大模型在线服务中降低推理延迟，同时保证回答质量。同类可对比的替代方案包括 Medusa、EAGLE、Lookahead Decoding。

上一篇：agentwatch

下一篇：TypeGPT

RSD