inference-optimisation-skill

自动爬山调优,让本地大模型推理跑得更快

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 67 🐛 待处理 1 👀 关注 2
GitHub ↗
GitHub 星标 ★ 744
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务

项目预览

inference-optimisation-skill 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队sybil-solutions
定价模式🏷️完全免费
价格说明开源免费,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agent-skill,benchmarking,claude-code,inference,llm,speculative-decoding
GitHub 星标★ 744
上线时间2026-11-16 00:00:00
代码更新2026-11-16
仓库体积32 KB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-11-18
浏览次数0

项目介绍

这是一个面向本地大模型推理服务的 Agent Skill(智能体技能包),目标是帮助开发者系统性地提升 LLM 推理速度。它把推理优化拆成解码、投机解码、预填充、KV 缓存、启动时间和首 token 延迟(TTFT)等可度量维度,通过自动化基准测试与逐步爬山(hill-climbing)的方式,在任意硬件和量化配置下寻找更优的推理参数组合。项目以 Python 实现,可作为 Claude Code 等智能体环境的技能调用,适合需要自建推理服务、又缺少调优经验的团队,把原本依赖专家经验的参数搜索过程变成可重复执行的实验流程。核心能力包括:统一采集各阶段性能指标、按维度定位瓶颈、迭代尝试优化配置并对比结果,从而在本地部署场景下降低延迟、提高吞吐。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-18 · 当前星标 ★ 744

核心亮点

  • 把推理优化拆成 decode、prefill、KV、TTFT 等可度量维度,定位瓶颈有明确抓手
  • 以 Agent Skill 形式集成,可在 Claude Code 等智能体环境里自动执行基准测试与参数迭代
  • 不绑定特定硬件与量化方案,适配多种本地部署配置

不足之处

  • 项目处于早期阶段,功能完整度与稳定性有待验证
  • 爬山式搜索需要反复跑基准,调优耗时与算力成本较高
  • 文档与社区生态尚在建设中,遇到问题可参考的案例有限

适用场景

  • 本地部署开源大模型后,发现首 token 延迟高、吞吐不足,需要系统排查优化点
  • 为不同量化版本(如 FP16、INT8、INT4)的模型寻找各自最优推理参数
  • 团队缺少推理调优专家,希望用自动化流程替代手工试错

替代项目

vLLM、llama.cpp、SGLang

上一篇:smolmaxxing

下一篇:没有了!

同类项目推荐

seldon-core 开源

K8s 上大规模部署、监控和管理生产级 ML 模型

An MLOps framework to package, deploy, monitor and manage thousands of production ma···

★ 4785 2026-08-09
OpenSandbox 开源

给AI智能体一个安全可控的“手脚”,放心让它干活

Secure, Fast, and Extensible Sandbox runtime for AI agents.

★ 17438 2026-08-09
devito 开源

用 Python 写方程,自动生成高性能有限差分代码

DSL and compiler framework for automated finite-differences and stencil computation

★ 719 2026-09-22
Memori 开源

给 AI 装上持久记忆,让智能体不再失忆

Memori is agent-native memory infrastructure. A LLM-agnostic layer that turns agent ···

★ 17594 2026-08-09
MNN 开源

阿里出品,手机端跑大模型,快人一步

MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering···

★ 16553 2026-08-09
airweave 开源

各种数据源一次接好,智能体随时有料可查

Open-source context retrieval layer for AI agents

★ 6544 2026-08-09
db2rest 开源

连上数据库,秒出 REST API,直接给 AI 当工具调用

Instant no code DATA API platform for relational databases. Connect any database, ru···

★ 475 2026-11-16
grafana 开源

一个面板看遍所有监控数据,快速定位故障

The open and composable observability and data visualization platform. Visualize met···

★ 77959 2026-08-29
Ollamac 开源

Mac 上玩本地大模型,告别命令行,点开即聊。

Mac app for Ollama

★ 1906 2026-08-09