
Awesome-LLM-Inference-Engine
一页看懂主流 LLM 推理引擎与优化技术
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 256
核心亮点
- 按推理引擎和技术主题分类汇总,选型时能快速建立全景认知
- 覆盖连续批处理、PagedAttention、量化、投机解码等关键优化点,便于按需深入
- 以链接和摘要为主,维护成本低,适合作为团队内部技术调研的起点
不足之处
- 项目以资源索引为主,缺少可直接运行的代码或基准测试数据
- 内容深度依赖外部链接,部分条目可能随上游项目演进而过时
适用场景
- 团队自建 LLM 推理服务前做技术选型调研
- 新人快速了解大模型推理优化技术栈
- 整理内部技术分享或培训材料时作为参考索引
替代项目
awesome-llm、vLLM、TensorRT-LLM
上一篇:rtx6kpro
下一篇:llama.cpp-omni
同类项目推荐
shellward
开源
一行命令,给 AI 项目做合规体检,防数据泄露
AI 应用合规网关 · 一行命令体检 AI 项目的「数据出境 / 硬编码密钥 / 个人信息暴露」(网···
BYOKEY
开源
把 AI 订阅变成标准 API,让编程工具直接调用
Turn AI subscriptions into standard API endpoints. OpenAI & Anthropic compatible gat···
gguf-parser-go
开源
解析 GGUF 文件,算清显存占用和推理速度
Review/Check GGUF files and estimate the memory usage and maximum tokens per second.
CPA_Orbit
开源
本地命令行统一管理 AI 账号与配额,实时监控价格
From K12 price radar to CPA proxy operations: a local-first console for offers, subs···
nexus
开源
用 Rust 给 AI 上把锁,治理安全两不误
Govern & Secure your AI
gemini-web-to-api
开源
把 Gemini 网页版变成标准 API,一键接入现有 AI 应用
✨Reverse-engineered API for Gemini web app. It can be used as a genuine API key fro···
oomstore
开源
用 Go/Rust 打造的高速特征仓库,让特征上线快如闪电
Lightweight and Fast Feature Store Powered by Go (and Rust).
krakend-ce
开源
写个配置文件,就能搞定高性能 API 网关
KrakenD Community Edition: High-performance, stateless, declarative, API Gateway wri···
dama
开源
一键容器化部署,快速跑通机器学习自动化流程
a simplified machine learning container platform that helps teams get started with a···