一条命令在 Docker 里跑起 GPU 加速的本地大模型
llama-cpp-docker 是一个将 llama.cpp 封装进 Docker 容器的开源项目，旨在简化 llama.cpp 的部署和运行，特别是支持 GPU 加速。它解决了用户在不同环境中编译和配置 llama.cpp 的痛点，通过提供预构建的 Docker 镜像和 docker-compose 配置，让用户能够快速启动一个本地 LLM 推理服务。项目核心能力包括：自动检测 NVIDIA GPU 并启用 CUDA 加速、支持多种主流模型（如 Llama 2/3、Mistral 等）、提供简单的 API 接口供上层应用调用。它适合希望私有化部署 LLM、避免云服务依赖的开发者，也适合在本地开发环境中快速试验不同模型。项目处于早期阶段，文档和社区支持尚在完善中。
llama.cpp 官方 Dockerfile、ollama、LocalAI
llama-cpp-docker 是基础设施领域的开源项目，由 fboulnois 开发，2023 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 68。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-08。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：本地开发环境快速启动LLM推理服务。同类可对比的替代方案包括 llama.cpp 官方 Dockerfile、ollama、LocalAI。
上一篇：ai-beehive
下一篇：VibeGuard
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
