voidllm

自托管 AI 网关，统一管理多模型 API，保护提示词隐私。

voidllm 是一个隐私优先的 LLM 代理和 AI 网关，用 Go 编写，支持自托管。它解决的是企业在使用多个大模型 API 时的统一接入和安全管理问题，核心能力包括负载均衡、多供应商路由、API 密钥管理、用量追踪和速率限制。项目强调零知识原则，即代理本身不记录或存储用户的提示词内容，从而保护数据隐私。作为基础设施，它可以帮助团队集中管理 AI 资源，降低直接调用多家 API 的复杂性和成本，同时通过统一策略控制访问权限和用量。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 135
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队voidmind-io
所属国家
官网地址https://voidllm.ai
GitHubhttps://github.com/voidmind-io/voidllm
定价模式free
价格说明开源项目，自托管，无在线服务，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Go
技术栈/模型ai,ai-gateway,anthropic,api-gateway,docker,golang,helm,kubernetes,llm,llm-gateway,llm-proxy,ollama,openai,openai-proxy,privacy,privacy-first,rate-limiting,rbac,self-hosted,vllm
GitHub 星标★ 135
30天Star增速
HF 下载量
上线时间2026-03-17 00:00:00
最近更新2026-09-19 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 隐私零知识设计，提示词不落盘，适合敏感数据场景
  • 多供应商路由和负载均衡，提升 API 调用稳定性
  • 内置 API 密钥管理和用量追踪，便于团队权限管控

不足之处

  • 项目早期，文档和社区生态待观察
  • 功能覆盖可能不如成熟网关全面，需自行验证

适用场景

  • 企业内部统一管理多个 LLM API 接入
  • 对数据隐私要求高的行业（如医疗、金融）使用 AI 服务
  • 需要精细化控制 API 成本和调用频率的团队

替代项目

LiteLLM、One API、Kong AI Gateway

项目介绍

voidllm 是基础设施领域的开源项目，由 voidmind-io 开发，是 2026 年新上线的项目。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 135。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-19。自托管，无在线服务，完全免费。

它主要面向的使用场景是：企业内部统一管理多个LLMAPI接入。同类可对比的替代方案包括 LiteLLM、One API、Kong AI Gateway。

上一篇：gateway

下一篇：MeshClaw

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09