项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 334
核心亮点
- JIT 按实际矩阵形状和量化格式生成内核，避免通用库的冗余分支与低效路径
- 轻量、依赖少，便于嵌入自研推理引擎或框架作为底层 GEMM 组件
- 以 Python 为主语言，接口集成和二次开发门槛较低
不足之处
- 项目处于早期，星标与生态规模较小，长期维护与社区支持待观察
- JIT 编译带来首次运行开销，且对编译工具链和运行环境有一定依赖
- 文档与基准测试覆盖有限，不同硬件平台上的表现需自行验证
适用场景
- 自研量化推理引擎需要高性能 GEMM 底层算子
- 在边缘或资源受限环境部署量化模型，追求轻量计算库
- 研究不同量化位宽与矩阵形状下的内核自动生成与调优
替代项目
llama.cpp、TensorRT-LLM、Marlin
上一篇：agentic-api
下一篇：afd-plugin
同类项目推荐
hopsworks
开源
管好特征，让 AI 模型开发又快又稳
Hopsworks - Data-Intensive AI platform with a Feature Store
mlops-guide.github.io
开源
跟着教程，用开源工具搭建完整MLOps流水线
MLOps end-to-end guide and tutorial website, using IBM Watson, DVC, CML, Terraform, ···
Safe-and-Stable-Ckpt2Safetensors···
开源
一键安全转换 ckpt 为 safetensors，告别恶意代码风险
Convert your Stable Diffusion checkpoints quickly and easily.
tokenu
开源
像 du 一样快速统计 token 用量，优化 AI 上下文管理
a unix-like du command line tool to count token usage per files and directories
llmio
开源
统一管理多个大模型，自动负载均衡，省心省钱
Unified LLM gateway with weighted load balancing, observability & cost tracking. 统一···
awesome-sagemaker
开源
一站式收藏 SageMaker 精华资源，快速上手少走弯路
A curated list of references for Amazon SageMaker
deployKF
开源
在 Kubernetes 上一条命令搭建完整机器学习平台
deployKF builds machine learning platforms on Kubernetes. We combine the best of Kub···
1flowbase
开源
自托管 AI 网关，协议转换+调度+日志，Agent 通过 MCP 全掌控
Build for agents — from the AI Gateway to the entire application stack.
pawwake
开源
给任意 LLM 加长期记忆，不改造应用
给AI加长期记忆的轻量网关 / A lightweight gateway that adds long-term memory to any L···