项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 110
核心亮点
- 给出 12GB 显存跑 27B 级模型的具体分层 KV 缓存与 q8_0 量化配置，可直接复现
- 在每层深度做 MTP 草稿预测，针对解码吞吐做了细粒度优化
- 附带逐层验证与性能记录，调优过程可追溯，便于对照排查
不足之处
- 强绑定特定显卡与模型组合，换硬件或其他模型时参考价值下降
- 项目处于早期，文档与社区规模有限，问题反馈渠道待观察
适用场景
- 在小显存消费级显卡上本地部署长上下文大模型
- 研究 KV 缓存量化与分层策略对显存占用的影响
- 对比 MTP 草稿预测在不同层深下的加速效果
替代项目
llama.cpp、vLLM、Ollama
下一篇：没有了！
同类项目推荐
Awesome-Efficient-LLM
开源
高效LLM技术一网打尽，快速找到压缩加速方案
A curated list for Efficient Large Language Models
cosmos-predict1
开源
通用世界模型底座，微调即可预测物理场景未来
Cosmos-Predict1 is a collection of general-purpose world foundation models for Physi···
understand-prompt
开源
一份笔记，带你玩转Stable Diffusion、ChatGPT和Copilot
【 内含不适合未成年人阅读的图片】基于我擅长的编程、绘画、写作展开的 AI 探索和总结：S···
Awesome-Ollama
开源
找 Ollama 图形界面和工具，看这一份清单就够了
An opinionated list of awesome Ollama web and desktop uis, frameworks, libraries, so···
InternVL
开源
开源接近GPT-4o的多模态对话模型，图像理解与对话一步到位。
[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接···
llama2
开源
用 Llama 2 快速搭个能聊天的网页应用
This chatbot app is built using the Llama 2 open source LLM from Meta.
BK-SDM
开源
压缩 Stable Diffusion，显存减半、出图更快，消费级 GPU 也能跑。
A Compressed Stable Diffusion for Efficient Text-to-Image Generation [ECCV'24]
Awesome-Efficient-Reasoning-LLMs
开源
让大模型少想快答，推理效率提升指南
[TMLR 2025] Stop Overthinking: A Survey on Efficient Reasoning for Large Language Mo···
reconstruction-alignment
开源
用重建对齐让多模态模型零样本能力大爆发
[ICLR 2026] RecA: visual understanding help generation through self-supervised learn···