voidllm

自托管 AI 网关，统一管理多模型 API，保护提示词隐私。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 15 🐛 待处理 25 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 147
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，自托管，无在线服务，完全免费。

项目预览

voidllm 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队voidmind-io
官网地址https://voidllm.ai
GitHubhttps://github.com/voidmind-io/voidllm
定价模式🏷️完全免费
价格说明开源项目，自托管，无在线服务，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Go
技术栈/模型ai,ai-gateway,anthropic,api-gateway,docker,golang,helm,kubernetes,llm,llm-gateway,llm-proxy,ollama,openai,openai-proxy,privacy,privacy-first,rate-limiting,rbac,self-hosted,vllm
GitHub 星标★ 147
上线时间2026-03-17 00:00:00
代码更新2026-11-02
仓库体积3.8 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数5

项目介绍

voidllm 是一个隐私优先的 LLM 代理和 AI 网关，用 Go 编写，支持自托管。它解决的是企业在使用多个大模型 API 时的统一接入和安全管理问题，核心能力包括负载均衡、多供应商路由、API 密钥管理、用量追踪和速率限制。项目强调零知识原则，即代理本身不记录或存储用户的提示词内容，从而保护数据隐私。作为基础设施，它可以帮助团队集中管理 AI 资源，降低直接调用多家 API 的复杂性和成本，同时通过统一策略控制访问权限和用量。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 147

核心亮点

  • 隐私零知识设计，提示词不落盘，适合敏感数据场景
  • 多供应商路由和负载均衡，提升 API 调用稳定性
  • 内置 API 密钥管理和用量追踪，便于团队权限管控

不足之处

  • 项目早期，文档和社区生态待观察
  • 功能覆盖可能不如成熟网关全面，需自行验证

适用场景

  • 企业内部统一管理多个 LLM API 接入
  • 对数据隐私要求高的行业（如医疗、金融）使用 AI 服务
  • 需要精细化控制 API 成本和调用频率的团队

替代项目

LiteLLM、One API、Kong AI Gateway

上一篇：gateway

下一篇：MeshClaw

同类项目推荐

onramp 开源

一键搭建安全家庭实验室，快速上手 Traefik 和 Cloudflare

Traefik with all the stuffing. Onramp is a docker compose setup designed to allow us···

★ 123 2026-08-09
Friday 开源

给 AI 代理装上企业级控制中枢，安全编排、可控运行

Private control plane for AI agents

★ 834 2026-08-09
WebextLLM 开源

在浏览器里直接跑大模型，让网页应用秒变智能

Web extension that embeds LLMs in your browser to power AI in web apps

★ 67 2026-08-09
mlx-serve 开源

在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python

Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No···

★ 2416 2026-08-09
gateway 开源

本地统一调用 200+ 大模型，告别接口碎片化

The only fully local production-grade Super SDK that provides a simple, unified, and···

★ 607 2026-08-09
edge-ai 开源

开箱即用的边缘 AI 基础设施代码包

Production-ready Infrastructure as Code, applications, pluggable components, and Pla···

★ 107 2026-10-31
tabularis 开源

一个桌面工具，连接 15+ 数据库，还能让 AI 帮你写 SQL。

Open-source desktop SQL workspace with 3 built-in database drivers and 29 shipped dr···

★ 5430 2026-08-09
sie 开源

一个服务搞定所有模型，让智能体部署不再头疼

Open-source inference server and production cluster for all the models your agent ne···

★ 3480 2026-08-09
tabpfn-client 开源

几行代码调用 TabPFN，轻松搞定小样本表格预测

⚡ Easy API access to the tabular foundation model TabPFN ⚡

★ 253 2026-08-09