speculative-decoding
本站收录 26 个带「speculative-decoding」标签的 AI 开源项目
Rapid-MLXRapid-MLX 是一个专为 Apple Silicon 芯片打造的高性能本地 AI 推理引擎,旨在解决 Mac 上运行大模型速度慢、工具调用支持差的问题。它★ 4,150
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器,用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是:在非数据中★ 3,007
HyperQwenHyperQwen 是一套面向消费级显卡的大模型推理优化方案,目标是在单张 24 GB 显存显卡上高效运行 Qwen3.8-27B 这类较大参数量的模型。项目基★ 2,715
EAGLEEAGLE是一个开源的大语言模型推理加速框架,由字节跳动团队开发,包含EAGLE-1、EAGLE-2和EAGLE-3三个版本,分别发表于ICML'24、EMNL★ 2,578
intel-extension-for-transformersIntel Extension for Transformers 是英特尔推出的开源工具包,旨在让开发者快速构建聊天机器人,并在英特尔平台上高效运行大语言模型(★ 2,173
sonarsonar 是一个面向大规模 LLM 推理场景的高性能引擎,用 C++ 编写,旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端,包括 NV★ 1,913
AngelSlimAngelSlim 是一个面向大语言模型的开源压缩工具包,旨在让模型压缩更易用、更全面、更高效。它解决了模型部署中体积大、推理慢、成本高的问题,提供从剪枝、量化★ 1,789
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo(gfx1151)平台的本地大模型推理部署脚本,目标是让用户以最快速度在搭载该★ 1,353
backburnerbackburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题,通过★ 1,189
PolyStrataPolyStrata 是一个用 C++ 编写的本地大模型推理引擎,目标是在个人电脑上直接运行多种主流开源大模型。项目包含两套引擎:一套基于 Strata 引擎运★ 1,056
speculatorsspeculators 是一个面向 vLLM 推理引擎的统一库,用于构建、评估和存储大语言模型(LLM)的投机解码(speculative decoding)算★ 958
awesome-on-policy-distillation这是一个围绕大语言模型在线策略蒸馏(On-Policy Distillation,OPD)的资源合集,系统整理了论文、技术报告、框架和工具。它解决的核心问题是:★ 916
kapitsakapitsa 是一个面向 Apple Silicon 的本地大模型推理引擎,用 C++ 编写,针对 Qwen 与 Nemotron 系列模型做了底层优化,目标★ 798
janasjanas 是一个纯 C 编写的本地大模型推理引擎,核心目标是让超出内存容量的模型也能在普通笔记本上高效运行。它通过把权重放在 NVMe 存储上并按需流式加载,★ 713
pooledpooled 是一个在浏览器中实现点对点大模型推理的开源项目。它把多台设备(笔记本、台式机、手机等)通过 WebRTC 连接成一个分布式推理集群,利用 WebG★ 649
orthrusorthrus 是一个面向大语言模型的高效推理加速项目,核心思路是通过双视角扩散解码(dual-view diffusion decoding)实现快速且无损的★ 482
dgx-spark-qwen38dgx-spark-qwen38 是一个面向 NVIDIA DGX Spark 与 ASUS Ascent GX10 这类 GB10 桌面级 AI 硬件的本地部★ 266
JetSpecJetSpec 是一个针对推测解码(Speculative Decoding)性能瓶颈的开源项目,核心创新在于提出“因果并行树草稿”(Causal Parall★ 258
RustingStrataRustingStrata 是一个用纯 Rust 编写的 Qwen GGUF 模型推理引擎,支持 Qwen3 到 Qwen3.8 系列,涵盖稠密模型与参数量达 ★ 242
model-serving-minefieldmodel-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”,专门收集那些会让测量结果看似正常、实则自信地给出错误结论的陷阱★ 174
sndr_core_engineSNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU(如 RTX 3090、A5000)的 vLLM 运行时补丁覆盖层,★ 133
OnlineSPECOnlineSPEC 是一个面向大语言模型推理加速的开源项目,核心思想是将投机解码(Speculative Decoding)与在线学习(Online Lear★ 127
GroundAnythingGroundAnything 是一个 4B 参数的扩散式视觉定位(grounding)模型,目标是从图像中快速、精确地提取视觉证据。它把目标检测、GUI 元素定★ 122
ReadyLLMReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中,底层基于 lla★ 102
DARTDART 是一个旨在加速大语言模型推理的推测解码(Speculative Decoding)方法的官方实现。它受扩散模型启发,通过引入一种新的采样与验证机制,在★ 73
RSDRSD是一个基于奖励引导的投机解码(Speculative Decoding)方法,旨在提升大语言模型推理时的效率与效果。投机解码通过小模型草稿、大模型验证的方★ 58