项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 68
核心亮点
- 预构建 Docker 镜像，免去手动编译 llama.cpp 的繁琐步骤
- 自动启用 NVIDIA GPU 加速，推理性能接近原生
- 支持 docker-compose 一键编排，方便集成到现有服务栈
不足之处
- 仅支持 NVIDIA GPU，对 AMD/Intel 显卡用户不友好
- 文档/社区待观察
适用场景
- 本地开发环境快速启动 LLM 推理服务
- 私有化部署聊天机器人，避免数据外泄
- 在 CI/CD 流水线中集成模型测试
替代项目
llama.cpp 官方 Dockerfile、ollama、LocalAI
上一篇：ai-beehive
下一篇：VibeGuard
同类项目推荐
DeepInfer
开源
让 DeepSeek 大模型多卡高吞吐跑起来
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
agent-trace
开源
给 AI 智能体装上监控，看清每一步动作和花费
Observability for AI agents. See what your agent did, why it cost that much, and wha···
kite
开源
一个界面管多集群，AI 帮你运维 K8s
A lightweight, modern Kubernetes dashboard. All your clusters. One workspace.
opennhp
开源
让未认证流量看不见，验证通过才放行
Make your infrastructure invisible to attackers. OpenNHP implements the Network-infr···
logfire
开源
一键接入，实时追踪 LLM 调用，快速定位 AI 应用故障
AI observability platform for production LLM and agent systems.
markify
开源
把各种文件秒变 Markdown，让 RAG 和 LLM 更懂你
Convert files into markdown to help RAG or LLM understand, based on markitdown and M···
mlops-python-package
开源
一键生成标准 MLOps 项目骨架，快速落地数据管道
Production-shaped MLOps Python package and reference implementation of the MLOps Cod···
llm-optimizer
开源
统一测多框架推理性能，快速找到更优配置
Benchmark and optimize LLM inference across frameworks with ease
rainbond
开源
一键把 AI 项目跑在 Kubernetes 上，自动运维不折腾
Rainbond is an open-source container platform that requires no Kubernetes expertise.···