
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3263
技术标签
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Docker 与 Docker Compose(README 说明 Harbor 负责 Docker Compose 编排)
- Python 环境(项目基于 Python 构建)
- 已安装 harbor CLI(README 未给出安装命令,需自行从官方仓库获取)
安装与启动步骤
-
1启动默认技术栈
执行后 Harbor 会自动完成编排与配置,默认启动 Open WebUI 与 llama.cpp 两个服务。
harbor up -
2按需追加服务
在默认栈之外追加 SearXNG 与 Speaches,为 Open WebUI 开启 Web RAG 及语音对话能力。
harbor up searxng speaches -
3查看服务日志
服务未按预期运行时,用 logs 子命令查看指定服务日志,排查报错原因。
harbor logs llamacpp -
4进入服务环境
直接用 shell 进入某个服务的容器环境,或在该服务中执行单条命令,无需本地安装相关工具。
harbor shell vllm harbor exec llamacpp ./scripts/llama-bench --help -
5指定后端运行工具
让 Codex 这类工具连接 Harbor 中指定的推理后端与模型,示例使用 ollama 与 qwen3.5:4b。
harbor launch --backend ollama --model qwen3.5:4b codex
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
services/<name>/default.env | 否 | 单个服务的默认环境变量配置,可在此覆盖该服务默认值 | services/ollama/default.env |
.env | 否 | 全局环境变量文件,Harbor 会对其进行去重与原子修复 | .env |
如何确认成功
用 harbor logs <服务名> 查看日志无报错,再在浏览器打开 Open WebUI 界面确认可用。
常见问题
Q:只想启动某一个服务怎么办?
A:在 harbor up 后跟服务名即可,例如 harbor up searxng,Harbor 只会拉起指定服务而非整套栈。
Q:能否一次性启动所有服务?
A:不建议。README 明确提示不要同时运行全部服务,会带来极大的资源消耗。
Q:如何停止或重启单个服务?
A:使用 harbor down <service> 和 harbor restart <service>,这两个命令不会影响其他正在运行的服务。
Q:SearXNG 有什么作用?
A:启动 SearXNG 会自动为 Open WebUI 开启 Web RAG,使模型能够联网检索后再回答。
Q:启动后不知道服务端口?
A:README 未列出具体端口,可通过 harbor logs <服务名> 查看服务输出中打印的访问地址。
注意事项
- README 节选中未提供 harbor CLI 的安装命令,安装方式请以官方仓库说明为准。
- harbor up 不带参数时默认启动 Open WebUI 与 llama.cpp。
- Harbor 内置大量推理后端与前端,可按需组合,例如 harbor up vllm llamacpp tgi 等。
- 部分服务会自动互相联动,如 SearXNG 为 Open WebUI 启用 Web RAG。
核心亮点
- 一键部署,秒级启动完整 LLM 环境,节省数小时配置时间
- 预集成数百个 AI 服务,开箱即用,覆盖主流工具链
- 基于 Python,生态兼容性好,易于扩展和定制
不足之处
- 项目较新,文档和社区支持尚待完善
- 服务数量多可能导致资源占用较高,对硬件有一定要求
适用场景
- 快速搭建 LLM 开发测试环境
- 教学演示或 AI 技术评估
- 团队统一 AI 基础设施管理
替代项目
Dify、LangChain、Ollama
同类项目推荐
screenpipe
开源
录屏24小时,喂给AI代理,本地私密自动化
YC (S26) | Open Computer History | Continuously record your company computer work, m···
myriade
开源
用对话搞定数据仓库,探索、清洗、治理一步到位
AI Native Data Platform: explore, clean, transform and govern your data warehouse, a···
vllm-deepseek-v4-sm89
开源
让新模型在 4090 等消费卡上跑起 vLLM 推理
Run DeepSeek-V4.1-Flash / DeepSeek-V4-Flash and GLM-5.3-Flash on SM89 (Ada / RTX 409···
genai-factory
开源
用 Terraform 在 GCP 一键搭好安全的生成式 AI 底座
A collection of end-to-end infrastructure blueprints to deploy generative AI infrast···
HiRoute
开源
本地分流代理请求,省钱模型干杂活,强模型只啃硬骨头
Make Codex and Claude Code subscriptions go further: a local model router that gives···
pipelines
开源
在 Kubernetes 上编排机器学习流水线,一键运行和监控
Machine Learning Pipelines for Kubeflow
ReadyLLM
开源
图形界面一键部署本地大模型,还能顺手跑图生视频
Deploy, monitor, and tune LLM through a visual interface — plus image / video gener···
mixtral-offloading
开源
让 8x7B 大模型在低配电脑上跑起来
Run Mixtral-8x7B models in Colab or consumer desktops
traccia-py
开源
给 AI Agent 装上黑匣子,追踪、评估、治理一步到位
OpenTelemetry-native SDK for AI agent observability, tracing, evaluation, debugging,···