GitHub 星标
★ 73
维护状态
低维护
是否开源
开源
定价模式
🏷️完全免费
开源框架，MIT许可证，完全免费，可自行部署使用。
项目预览
项目数据
分类开源模型
开发团队ZichengXu
定价模式🏷️完全免费
价格说明开源框架，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chain-of-thought,decoding,deepseek,entropy,huggingface-transformers,inference-time-scaling,large-language-models,large-reasoning-models,parallel-thinking,phi,qwen,reasoning,test-time-scaling,training-free,tree-search,varentropy,vllm
GitHub 星标★ 73
上线时间2025-10-23 00:00:00
代码更新2026-05-12
仓库体积7.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 73
核心亮点
- 无需训练，直接集成现有模型，降低使用门槛
- 模型无关，支持多种主流LLM架构，通用性强
- 通过树状草图优化并行解码，显著提升推理吞吐量
不足之处
- 早期项目，文档和社区生态尚待完善
- 并行推理的加速效果可能依赖具体任务和硬件环境
适用场景
- 高并发LLM服务，如聊天机器人、实时翻译
- 长文本生成场景，需要快速产出多个候选结果
- 资源受限环境下的LLM推理加速
替代项目
Medusa、EAGLE、Lookahead Decoding
同类项目推荐
LangChain-Chinese-Getting-Starte···
开源
中文教程，快速上手 LangChain 构建 AI 应用
LangChain 的中文入门教程
langroid
开源
用多智能体编程，轻松编排 LLM 完成复杂任务
Harness LLMs with Multi-Agent Programming
go-zero
开源
写接口描述，一键生成整套微服务代码
A cloud-native Go microservices framework with cli tool for productivity.
apm
开源
像 npm 一样管理你的 AI 智能体技能包，即装即用。
Agent Package Manager
async-openai
开源
Rust 里类型安全地调用 OpenAI 接口
Rust library for OpenAI
ComfyUI_smZNodes
开源
给 ComfyUI 加个强力文本编码器，让提示词更精准
Custom nodes for ComfyUI such as CLIP Text Encode++
LLMCompiler
开源
让 LLM 函数调用像编译器一样并行执行，速度翻倍
[ICML 2024] LLMCompiler: An LLM Compiler for Parallel Function Calling
gpt-rag-orchestrator
开源
多智能体协作编排，让复杂 RAG 问答更准
Agent orchestration service for the Agent Landing Zone, built on Microsoft Foundry A···
ComfyUI_TiledKSampler
开源
分块采样，低显存也能出高清大图
Tiled samplers for ComfyUI