Awesome-LLM-Inference-Engine

一页看懂主流 LLM 推理引擎与优化技术

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 40 🐛 待处理 1 👀 关注 5
GitHub ↗
GitHub 星标 ★ 256
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费资源列表

项目预览

Awesome-LLM-Inference-Engine 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队sihyeong
定价模式🏷️完全免费
价格说明开源免费资源列表
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
GitHub 星标★ 256
上线时间2025-05-01 00:00:00
代码更新2026-11-18
仓库体积3.2 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

Awesome-LLM-Inference-Engine 是一个围绕大语言模型推理引擎的精选资源合集,主要汇总开源推理框架、优化技术与工程实践资料。它解决的是推理生态信息分散、选型困难的问题:开发者面对 vLLM、TensorRT-LLM、SGLang 等众多方案时,缺少统一索引来快速了解各自定位与适用条件。核心能力包括按引擎分类整理项目入口、归纳连续批处理、PagedAttention、量化、投机解码等关键优化技术,并汇集部署调优与性能评测相关材料。项目本身以文档和链接为主,不提供可执行代码,适合作为学习地图和选型参考,帮助团队在自建推理服务前建立技术全景,降低检索与对比成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 256

核心亮点

  • 按推理引擎和技术主题分类汇总,选型时能快速建立全景认知
  • 覆盖连续批处理、PagedAttention、量化、投机解码等关键优化点,便于按需深入
  • 以链接和摘要为主,维护成本低,适合作为团队内部技术调研的起点

不足之处

  • 项目以资源索引为主,缺少可直接运行的代码或基准测试数据
  • 内容深度依赖外部链接,部分条目可能随上游项目演进而过时

适用场景

  • 团队自建 LLM 推理服务前做技术选型调研
  • 新人快速了解大模型推理优化技术栈
  • 整理内部技术分享或培训材料时作为参考索引

替代项目

awesome-llm、vLLM、TensorRT-LLM

上一篇:rtx6kpro

下一篇:llama.cpp-omni

同类项目推荐

shellward 开源

一行命令,给 AI 项目做合规体检,防数据泄露

AI 应用合规网关 · 一行命令体检 AI 项目的「数据出境 / 硬编码密钥 / 个人信息暴露」(网···

★ 140 2026-08-09
BYOKEY 开源

把 AI 订阅变成标准 API,让编程工具直接调用

Turn AI subscriptions into standard API endpoints. OpenAI & Anthropic compatible gat···

★ 141 2026-08-09
gguf-parser-go 开源

解析 GGUF 文件,算清显存占用和推理速度

Review/Check GGUF files and estimate the memory usage and maximum tokens per second.

★ 313 2026-10-16
CPA_Orbit 开源

本地命令行统一管理 AI 账号与配额,实时监控价格

From K12 price radar to CPA proxy operations: a local-first console for offers, subs···

★ 72 2026-08-09
nexus 开源

用 Rust 给 AI 上把锁,治理安全两不误

Govern & Secure your AI

★ 441 2026-08-09
gemini-web-to-api 开源

把 Gemini 网页版变成标准 API,一键接入现有 AI 应用

✨Reverse-engineered API for Gemini web app. It can be used as a genuine API key fro···

★ 677 2026-08-09
oomstore 开源

用 Go/Rust 打造的高速特征仓库,让特征上线快如闪电

Lightweight and Fast Feature Store Powered by Go (and Rust).

★ 91 2026-08-09
krakend-ce 开源

写个配置文件,就能搞定高性能 API 网关

KrakenD Community Edition: High-performance, stateless, declarative, API Gateway wri···

★ 2703 2026-08-09
dama 开源

一键容器化部署,快速跑通机器学习自动化流程

a simplified machine learning container platform that helps teams get started with a···

★ 77 2026-08-09