项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 123
技术标签
核心亮点
- 内置多种优化配方，开箱即用，降低调优门槛
- 支持内核融合、自动调优和高级调度，灵活定制优化策略
- 提供跨 GPU 类型的基准测试和结果追踪，便于对比和分享
不足之处
- 项目处于早期阶段，文档和社区生态待观察
- 依赖特定 GPU 环境，通用性可能受限
适用场景
- 需要快速提升 LLM 推理性能的部署场景
- 研究 GPU 内核优化和调度策略的开发者
- 团队内部进行推理性能基准测试和对比分析
替代项目
Triton、TVM、TensorRT
上一篇：MachineAuth
下一篇：openinference
同类项目推荐
doc2vec-api
开源
用 doc2vec 快速训练文本向量，搭建简单对话机器人
document embedding and machine learning script for beginners
serve
开源
一键部署 PyTorch 模型，自动扩缩容，生产级推理服务
Serve, optimize and scale PyTorch models in production
SwiftLM
开源
Mac/iPhone 上跑本地大模型，OpenAI 接口直接调
⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, S···
ai-observer
开源
把多个 AI 编程助手的调用记录统一收进本地 DuckDB，随时查。
Unified local observability for agents
metal-flash-attention
开源
在 Apple 芯片上让注意力计算飞起来，加速 Stable Diffusion 推理。
FlashAttention (Metal Port)
aisix-archived
开源
用 Rust 打造你的 AI 网关，统一管理多模型请求
An open source, Native AI Gateway and LLM proxy built in Rust
clearml-serving
开源
一键编排多模型推理服务，自动伸缩省运维
ClearML - Model-Serving Orchestration and Repository Solution
arcjet-js
开源
给 AI 应用装上安全气囊，防注入、防越权、防泄露
Runtime security for AI apps and agents: prompt injection detection, tool-call autho···
chmonitor
开源
给 ClickHouse 配个 AI 军师，实时监控并自动给出调优建议
Open-source operational advisor for ClickHouse — real-time monitoring plus AI-drive···