项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 105
核心亮点
- 统一命令行管理多个 LLM 组件，降低部署门槛
- Go 单二进制分发，部署简单快速
- 面向自托管场景，数据隐私可控
不足之处
- 早期项目，功能覆盖和稳定性待验证
- 文档/社区待观察
适用场景
- 个人开发者快速搭建本地 LLM 实验环境
- 小团队在自有服务器上部署私有 LLM 服务
- 需要离线或内网环境运行 LLM 的场景
替代项目
Docker Compose + Ollama、LocalAI、Hugging Face TGI
下一篇：hub
同类项目推荐
log10
开源
记录 LLM 调用数据，调试评估，提升应用准确率。
Python client library for improving your LLM app accuracy
LiteRT
开源
谷歌端侧推理框架，让模型在手机和嵌入式设备上跑得又快又省
LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-perfo···
airllm
开源
4GB 显卡跑 70B 大模型，显存不够也能玩转
AirLLM 2.8T LLM inference with single 4GB GPU
9router
开源
把付费 AI 编程模型换成免费替代，自动切换不限流
Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigr···
dockit
开源
用大白话聊数据库，AI 帮你查 Elasticsearch、MongoDB 等，可视化监控一把梭。
Agentic desktop GUI client for Elasticsearch, OpenSearch, DynamoDB, MongoDB & EasySe···
MoE-Infinity
开源
把 MoE 大模型塞进小显存，推理快还省钱
PyTorch library for cost-effective, fast and easy serving of MoE models.
automem
开源
给 AI 装上跨会话的长期记忆，让对话更连贯
Long-term memory for AI assistants. Graph + vector store that recalls decisions, rel···
SageAttention
开源
渲染提速好几倍，出片快人一步
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of ···
Star-Attention
开源
长序列推理提速，让大模型轻松处理超长文本。
Efficient LLM Inference over Long Sequences