项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 663
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- JDK 17+
- Gradle
- 模型服务
安装与启动步骤
-
1构建项目
AI 应用的基础设施层，Gradle 构建。
./gradlew build -
2起本地服务
开发模式直接跑 server 模块。
./gradlew :server:run -
3看 OpenAPI 文档
服务起来后访问接口规范，确认端点齐全。
-
4接一个模型后端
把模型服务登记进来，再做一次对话验证。
如何确认成功
服务能启动并完成一次模型调用
注意事项
- 它提供统一网关，模型适配层要自己配。
- 企业场景注意配额与审计配置。
核心亮点
- 用统一 API 屏蔽不同厂商模型接口差异，切换模型无需改上层代码
- Java 技术栈，适合已有 Java 体系的企业集成和二次开发
- 支持模型、助手、应用多类资源统一路由，并带访问控制和配额管理
不足之处
- 生态和文档主要围绕 AI DIAL 平台，单独使用需要理解整套体系
- 星标数较少，社区规模和第三方资料相对有限
适用场景
- 企业内部搭建统一大模型网关，集中管理多家模型接入
- 多租户 SaaS 平台按客户分配模型配额和访问权限
- 业务系统需要灵活切换或组合不同模型而不改代码
替代项目
LiteLLM、OpenRouter、One API
同类项目推荐
Axon
开源
终端里实时看穿 LLM 调用链，调试智能体快人一步
OpenTelemetry-native LLM observability CLI. Point any OTEL exporter at it and watch ···
ollama-helm
开源
一条 helm 命令，把 Ollama 大模型服务部署进 K8s 集群
Helm chart for Ollama on Kubernetes
opencode-llm-proxy
开源
本地一个代理，统一接入 OpenAI、Anthropic、Gemini 等大模型
Local OpenCode-backed LLM gateway for OpenAI, Anthropic, Gemini, and Responses API-c···
snip
开源
给 AI 编程工具装上过滤器，Token 立省 60%
CLI proxy that reduces LLM token usage by 60-90%. Declarative YAML filters for Claud···
ComfyUI-Installer
开源
Linux 上一键装好 ComfyUI，省去手动配环境的麻烦。
Easily install ComfyUI on a Linux system. Installs completely inside a Python venv.
mcp-gateway
开源
把 MCP 服务器管起来，K8s 里会话不丢、扩缩容不慌
MCP Gateway is a reverse proxy and management layer for MCP servers, enabling scalab···
kedro
开源
数据管道按工程规范搭，实验转生产不返工
Kedro is a toolbox for production-ready data science. It uses software engineering b···
sndr_core_engine
开源
消费级显卡上榨干大模型性能，推理速度翻倍
SNDR Core Engine (Genesis) — vLLM runtime patch-overlay for Qwen3.6 + Gemma4 on con···
dstack
开源
一套编排，跑遍所有GPU环境，训练推理不发愁
A unified orchestration layer for heterogeneous AI compute. It standardizes how to m···