项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 127
核心亮点
- 提出草稿模型在线进化机制，突破静态投机解码的性能瓶颈
- 基于 ICML 2026 论文，算法有理论支撑，实验效果明确
- 与现有投机解码框架兼容，可快速集成到主流推理引擎
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 在线学习机制可能引入额外计算开销，需权衡收益
适用场景
- 大模型长文本生成加速，如文章、报告自动撰写
- 高并发 API 服务，降低推理延迟和成本
- 边缘设备上的 LLM 部署，提升响应速度
替代项目
Medusa、EAGLE、SpecInfer
同类项目推荐
MoTHer
开源
从模型集合中自动还原模型家族树，看清模型间继承关系。
Official PyTorch Implementation for the "Unsupervised Model Tree Heritage Recovery" ···
RLAIF-V
开源
用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”
[CVPR'25 highlight] RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustwort···
neural-structured-learning
开源
给模型加图关系与对抗约束，少标注也能训得更准
Training neural models with structured signals.
language-planner
开源
用大模型零样本生成任务规划，直接驱动具身智能体。
Official Code for "Language Models as Zero-Shot Planners: Extracting Actionable Know···
optimate
开源
给 AI 模型瘦身提速，部署更快更省资源
A collection of libraries to optimise AI model performances
self-refine
开源
让大模型自己挑错改错，越改越好
LLMs can generate feedback on their work, use it to improve the output, and repeat t···
VideoTuna
开源
用你的数据定制专属视频生成模型，让 AI 更懂你的风格。
Let's finetune video generation models!
gemma-tuner-multimodal
开源
Mac 上直接微调 Gemma 多模态模型，图文音一起训
Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch···
TorchSpec
开源
用 PyTorch 原生训练投机解码草稿模型，推理直接提速
A PyTorch native library for training speculative decoding models