项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 133
核心亮点
- 针对 Ampere 架构深度优化，充分利用消费级显卡算力
- 集成多种前沿加速技术（量化、推测解码、CUDA Graph），性能提升显著
- 提供图形化控制界面，降低使用门槛
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 仅支持特定 GPU 架构（sm_86），兼容性受限
适用场景
- 在 RTX 3090 等消费级显卡上本地运行 Qwen3.6 等大模型
- 需要高吞吐量文本生成场景，如实时对话或批量处理
- 对推理延迟敏感的应用，如交互式 AI 助手
替代项目
vLLM、llama.cpp、ExLlamaV2
上一篇：vektori
下一篇：kube-llmops
同类项目推荐
SkillCorpus
开源
把零散技能文件，变成智能体随手可用的检索库
Open-source infrastructure that turns scattered SKILL.md files into curated, retriev···
hailo_model_zoo_genai
开源
Hailo 芯片跑生成式模型的开箱即用模型库
Model zoo for Gen AI models for Hailo products
open-relay
开源
关掉终端，AI 任务继续跑，随时回来接管。
oly runs coding agents and long-running commands in persistent, supervised terminal ···
xDiT
开源
多卡并行加速 DiT 出图，单卡跑不动的高分辨率也能秒级生成
xDiT: A Scalable Inference Engine for Diffusion Transformers (DiTs) with Massive Par···
lancedb
开源
嵌入式向量检索，少运维多搜索，多模态 AI 即插即用
Developer-friendly OSS embedded retrieval library for multimodal AI. Search More; Ma···
zeptoclaw
开源
一个 Rust 二进制搞定本地 AI 助手，安全自治不泄露隐私
Fast, small, secure, local-first personal AI assistant infrastructure: one Rust bina···
llm-d-inference-sim
开源
不装 GPU 不跑模型，秒起一个假 vLLM 服务
A lightweight, configurable, and real-time simulator designed to mimic the behavior ···
Containarium
开源
给 AI 代理套上安全隔离壳，放心执行任意代码
Open-source agent runtime — SSH-native isolation, eBPF egress policy, Kubernetes + ···
SparkDiffusion
开源
多技术叠加让 DiT 视频生成提速 265 倍
SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···