项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 58
核心亮点
- 在投机解码中引入奖励模型，直接优化生成质量，而非单纯追求接受率
- 与现有投机解码框架兼容，集成成本低，可快速替换草稿策略
- 在ICML 2025发表，算法有理论保证，实验效果优于传统方法
不足之处
- 需要额外加载奖励模型，增加显存和计算开销
- 早期项目，文档和社区支持尚不完善
适用场景
- 大模型在线服务中降低推理延迟，同时保证回答质量
- 对生成内容有特定偏好（如安全性、有用性）的应用场景
- 批量文本生成任务中提升吞吐量，减少GPU消耗
替代项目
Medusa、EAGLE、Lookahead Decoding
上一篇：agentwatch
下一篇：TypeGPT
同类项目推荐
traccia-py
开源
给 AI Agent 装上黑匣子，追踪、评估、治理一步到位
OpenTelemetry-native SDK for AI agent observability, tracing, evaluation, debugging,···
backburner
开源
插上 iPhone，Mac 本地跑 27B 大模型
Your iPhone helps your Mac run a 27B model: faster prompt reading and more context o···
node-llama-cpp
开源
在 Node.js 里直接跑本地大模型，还能强制输出合法 JSON
Run AI models locally on your machine with node.js bindings for llama.cpp. Enforce a···
distill
开源
给 LLM 智能体装上持久记忆，12 毫秒去重防泄露
Context intelligence layer for LLM agents: persistent memory with write-time dedup, ···
instill-core
开源
拖拽搭建 AI 流水线，从数据到模型一键编排
Instill Core is a full-stack AI infrastructure tool for data, model and pipeline orc···
serve
开源
一键部署 PyTorch 模型，自动扩缩容，生产级推理服务
Serve, optimize and scale PyTorch models in production
nuxt-llms
开源
自动为 Nuxt 站点生成 llms.txt，让 AI 读懂你的网站
Automatically generates /llms.txt markdown documentation for your Nuxt application.
openvino.genai
开源
几行代码在 Intel 硬件上跑通大模型推理
Run Generative AI models with simple C++/Python API and using OpenVINO Runtime
evadb
开源
用 SQL 方式调用 AI 模型，快速构建智能数据应用
Database system for AI-powered apps