
inference-optimisation-skill
自动爬山调优,让本地大模型推理跑得更快
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-18 · 当前星标 ★ 744
核心亮点
- 把推理优化拆成 decode、prefill、KV、TTFT 等可度量维度,定位瓶颈有明确抓手
- 以 Agent Skill 形式集成,可在 Claude Code 等智能体环境里自动执行基准测试与参数迭代
- 不绑定特定硬件与量化方案,适配多种本地部署配置
不足之处
- 项目处于早期阶段,功能完整度与稳定性有待验证
- 爬山式搜索需要反复跑基准,调优耗时与算力成本较高
- 文档与社区生态尚在建设中,遇到问题可参考的案例有限
适用场景
- 本地部署开源大模型后,发现首 token 延迟高、吞吐不足,需要系统排查优化点
- 为不同量化版本(如 FP16、INT8、INT4)的模型寻找各自最优推理参数
- 团队缺少推理调优专家,希望用自动化流程替代手工试错
替代项目
vLLM、llama.cpp、SGLang
上一篇:smolmaxxing
下一篇:没有了!
同类项目推荐
seldon-core
开源
K8s 上大规模部署、监控和管理生产级 ML 模型
An MLOps framework to package, deploy, monitor and manage thousands of production ma···
OpenSandbox
开源
给AI智能体一个安全可控的“手脚”,放心让它干活
Secure, Fast, and Extensible Sandbox runtime for AI agents.
devito
开源
用 Python 写方程,自动生成高性能有限差分代码
DSL and compiler framework for automated finite-differences and stencil computation
Memori
开源
给 AI 装上持久记忆,让智能体不再失忆
Memori is agent-native memory infrastructure. A LLM-agnostic layer that turns agent ···
MNN
开源
阿里出品,手机端跑大模型,快人一步
MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering···
airweave
开源
各种数据源一次接好,智能体随时有料可查
Open-source context retrieval layer for AI agents
db2rest
开源
连上数据库,秒出 REST API,直接给 AI 当工具调用
Instant no code DATA API platform for relational databases. Connect any database, ru···
grafana
开源
一个面板看遍所有监控数据,快速定位故障
The open and composable observability and data visualization platform. Visualize met···
Ollamac
开源
Mac 上玩本地大模型,告别命令行,点开即聊。
Mac app for Ollama