项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 630
核心亮点
- 纯 C 实现、依赖少，编译部署门槛低
- 针对超出内存的 MoE 模型做 NVMe 流式加载，扩展了可运行模型规模
- 集成投机解码与 AVX2 SIMD 优化，官方对比数据中吞吐显著领先 llama.cpp
不足之处
- 项目处于早期，630 星规模，生态与文档完善度有限
- 性能数据主要来自作者自测，缺少第三方独立复现与广泛模型覆盖验证
适用场景
- 在 32 GB 内存笔记本上运行 48 GB 级 MoE 大模型
- 本地离线推理与隐私敏感场景的模型部署
- 研究投机解码、量化与流式加载等推理优化技术
替代项目
llama.cpp、vLLM、Ollama
上一篇：dsh-cost-meter
下一篇：OlliteRT
同类项目推荐
memory-lancedb-pro
开源
让智能体记忆更准、更清晰，开箱即用的混合检索与管理工具。
Enhanced LanceDB memory plugin for OpenClaw — Hybrid Retrieval (Vector + BM25), Cro···
CodeProject.AI-Server
开源
给应用一键接入本地 AI 视觉能力，无需云服务
CodeProject.AI Server is a self contained service that software developers can inclu···
cube-studio
开源
一套平台搞定 AI 开发、训练、推理全流程，支持国产硬件。
cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力···
InsForge
开源
给编码智能体装上全套后端，一键从代码到上线。
The all-in-one, open-source backend platform for agentic coding. InsForge gives your···
clearml-serving
开源
一键编排多模型推理服务，自动伸缩省运维
ClearML - Model-Serving Orchestration and Repository Solution
generative-ai-arbitrage
开源
花三成钱，调用同一批顶级视频图像音乐模型
A curated list showing how to access the exact same top-tier generative AI models (v···
radar
开源
一个 Go 二进制搞定 K8s 可视化与 AI 运维诊断
The missing open-source Kubernetes UI with a built-in MCP server for AI agents. See ···
tokentelemetry
开源
本地追踪 AI 智能体令牌消耗，成本一目了然
Token telemetry dashboard for AI autonomous and coding agents — tracks tokens, sess···
mlops-guide.github.io
开源
跟着教程，用开源工具搭建完整MLOps流水线
MLOps end-to-end guide and tutorial website, using IBM Watson, DVC, CML, Terraform, ···