llm-inference-solutions
一张清单，搞定LLM推理选型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 94
核心亮点
- 集中收录主流推理框架，省去四处搜集的麻烦
- 按特性分类，便于对比不同方案的适用场景
- 项目持续更新，能跟上推理技术演进
不足之处
- 文档/社区待观察
- 早期项目，收录可能不全
适用场景
- 技术选型时快速调研推理方案
- 学习LLM推理技术全景
- 为特定硬件或场景寻找最优推理工具
替代项目
awesome-llm-inference、llm-inference-benchmarks、inference-engine-list
同类项目推荐
chroma
开源
给 AI 应用装一个超快的向量搜索引擎
Search infrastructure for AI
semantic-cache
开源
让缓存懂语义，相似查询秒命中，降低后端压力
A fuzzy key value store based on semantic similarity rather lexical equality.
Sipp
开源
浏览器里直接跑 GGUF 大模型，零依赖 WebGPU 加速
AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···
openlit
开源
一键接入，全栈监控你的 LLM 应用，从开发到生产。
Same agent Smaller bill. The tools and infrastructure to get more work from your AI.···
tiktoken-go
开源
在 Go 中轻松切分 token，精准控制 OpenAI 费用
go version of tiktoken
whitebox
开源
在K8s和边缘设备上，一站式监控你的ML模型健康
[Not Actively Maintained] Whitebox is an open source E2E ML monitoring platform with···
NeuroAPI
开源
俄罗斯开发者一键接入全球主流 AI 模型，绕过支付和地域限制。
NeuroAPI: российский AI API для Codex CLI и Claude Code — безопа···
milvus
开源
海量向量秒级搜索，轻松构建 AI 应用
Milvus is a high-performance, cloud-native vector database built for scalable vector···
cc-statistics
开源
一个面板看穿所有AI编程工具的花费与效率
AI Coding stats dashboard — track costs, tokens, and efficiency across Claude Code ···