项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 251
核心亮点
- 提供统一内核抽象，同一推理代码可切换多种计算后端
- 聚焦扩散模型推理热点算子，针对性强于通用算子库
- Python 接口便于与 ComfyUI 等现有工作流集成
不足之处
- 早期项目，后端覆盖与算子完整度仍在演进
- 文档与社区规模有限，问题排查依赖读源码
- 缺少系统性的性能基准与兼容性矩阵
适用场景
- 为 ComfyUI 扩散推理流程替换高性能算子
- 在多类硬件后端上对比扩散模型推理性能
- 作为自定义内核库的架构参考进行二次开发
替代项目
xformers、FlashAttention、TensorRT
上一篇：HyperQwen
下一篇：llm-bridge
同类项目推荐
tokenspeed
开源
让大模型在现有硬件上跑出光速级 token 生成速度
TokenSpeed is a speed-of-light LLM inference engine.
SLA
开源
让视频生成模型推理更快，画质不掉线
SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse–Linear Atten···
brinicle
开源
低内存跑向量检索，小机器也能扛千万级索引
A resource-efficient C++ vector index engine built for low-RAM production workloads
BrowserAI
开源
在浏览器里本地跑大模型，离线私密零成本
Run local LLMs like llama, deepseek-distill, kokoro and more inside your browser
octelium
开源
一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透
A next-gen FOSS self-hosted unified zero trust secure access platform that can opera···
clawmetry
开源
看清智能体每一步思考，调试不再靠猜。
See your agent think. Zero-config observability & governance for 30 AI agent runtime···
unbody
开源
像用 Supabase 一样，快速搭建 AI 应用的知识后端。
The Supabase of AI era. A modular, open-source backend for building AI-native softwa···
context-keeper
开源
给大模型装上持久记忆，告别上下文丢失
LLM-Driven Intelligent Memory & Context Management System （AI记忆管理与智能上下文感···
recipes
开源
照抄配方，几分钟跑通 vLLM 推理服务
Common recipes to run vLLM