self-hosted-ai-stack

一行命令部署本地 AI 全家桶,数据不出门,隐私又安全。

这是一个基于 Docker Compose 的一站式自托管 AI 技术栈部署方案,旨在帮助用户快速搭建本地优先、隐私安全的 AI 服务集群。它集成了 Ollama(本地大模型运行)、LiteLLM(统一 API 网关)、AnythingLLM(知识库问答)、Whisper(语音转文字)、WhisperLive(实时语音识别)、Kokoro(语音合成)、Embeddings(向量嵌入)、Docling(文档解析)以及 MCP Gateway(模型上下文协议网关)等核心组件。项目通过轻量级配置和模块化设计,解决了自建 AI 服务时常见的组件集成复杂、依赖冲突、隐私泄露等问题。用户只需一条命令即可启动完整的 AI 服务栈,支持 NVIDIA CUDA 加速和 amd64/arm64 多架构,并可选配置 HTTPS 保障通信安全。适合个人开发者、中小企业或隐私敏感场景,快速获得本地化的 LLM 推理、语音交互、文档处理等能力,同时保持数据完全自主可控。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 153
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队hwdsl2
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Shell
技术栈/模型ai,ai-stack,cuda,docker,docker-compose,docling,embeddings,linux,litellm,llm,local-ai,mcp,ollama,openai-compatible,private-ai,rag,self-hosted,speech-to-text,text-to-speech,whisper
GitHub 星标★ 153
30天Star增速
HF 下载量
上线时间2026-05-05 00:00:00
最近更新2026-09-21 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 集成 Ollama、AnythingLLM、Whisper 等主流 AI 组件,开箱即用
  • 支持 NVIDIA CUDA 加速和 amd64/arm64 多架构,性能与兼容性兼顾
  • 模块化设计,可灵活裁剪,轻量部署,资源占用可控

不足之处

  • 早期项目,文档和社区生态尚待完善
  • 组件较多,初次配置和排障有一定学习成本

适用场景

  • 个人开发者本地搭建 AI 开发测试环境
  • 中小企业私有化部署 LLM 和语音服务,保障数据隐私
  • 边缘设备或离线环境下的 AI 能力集成

替代项目

LocalAI、Ollama + Open WebUI、Dify

项目介绍

self-hosted-ai-stack 是基础设施领域的开源项目,由 hwdsl2 开发,是 2026 年新上线的项目。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 153。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-21。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:个人开发者本地搭建AI开发测试环境。同类可对比的替代方案包括 LocalAI、Ollama + Open WebUI、Dify。

上一篇:vonage-node-sdk

下一篇:vox-serve

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09