项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 366
核心亮点
- 兼容 Hugging Face 模型格式与接口，现有模型资产迁移成本低
- 针对 vLLM、SGLang 的加载路径做优化，减少推理服务冷启动等待
- Go 编写并面向 Kubernetes，部署轻量、易与现有集群运维体系集成
不足之处
- 早期项目，星标与生态尚小，长期维护与社区活跃度待观察
- 文档与使用示例相对有限，非 K8s 环境下的部署指引不够充分
适用场景
- 企业内部搭建私有模型仓库，统一管理多个开源大模型的版本与分发
- Kubernetes 集群中为 vLLM/SGLang 推理服务提供就近的模型拉取源
- 团队需要在隔离网络环境中维护模型资产并控制访问权限
替代项目
Hugging Face Hub、OpenLLM、KServe
同类项目推荐
skills
开源
让 AI 助手秒变 Qdrant 专家，搞定向量搜索开发与运维
Agent skills for Qdrant vector search: scaling, performance optimization, search qua···
Portable-Local-Studio
开源
一个界面跑齐本地画图、聊天、朗读和听写，免安装随身带
Portable local AI studio for Windows, Linux, and macOS. Zero-setup GUI for Image Gen···
mlx-openai-server
开源
在 Mac 上跑起 OpenAI 兼容的本地模型服务，一行代码接入现有工具。
A high-performance API server that provides OpenAI-compatible endpoints for MLX mode···
liveblocks
开源
快速为应用和智能体添加实时协作能力，无需自研后端。
Realtime infrastructure for multiplayer apps and agents
pgvecto.rs
开源
在 Postgres 里实现高性能向量搜索，无需迁移数据库。
Scalable, Low-latency and Hybrid-enabled Vector Search in Postgres. Revolutionize Ve···
spark-local-inference
开源
Rust 写的本地大模型推理服务底座，请求调度一把抓
Meterless
开源
夜间批量跑实验，早上只留能用的结果
Turn your Win, Mac or DGX Spark into an AI hotspot. Nightshift races hundreds of att···
truss-examples
开源
照着抄，把模型快速变成可调用的 HTTP 服务
Examples of models deployable with Truss
qzcli_tool
开源
命令行管理启智AI任务，资源查询、提交、看日志一步到位，还能接入agent。
启智平台任务管理 CLI：资源查询、任务提交、日志查看和 MCP/agent workflow