项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 830
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- 至少一个模型后端
安装与启动步骤
-
1克隆
做语义提示路由与任务编排的中间层。
git clone https://github.com/someoddcodeguy/WilmerAI.git cd WilmerAI -
2配模型后端
把本地与云端后端都写进配置。
ls configs && vim configs/config.yaml -
3起服务
它对外暴露 OpenAI 兼容端点。
python server.py -
4验路由
同一句问话按意图被分到不同后端。
curl localhost:5000/v1/models
如何确认成功
不同意图的提问命中了配置里不同的后端。
注意事项
- 它的价值是在模型前面加一层可编程路由。
- 规则写太细会脆，先用粗分类。
- 日志要留，否则路由错了查不出来。
核心亮点
- 支持多层提示词路由和复杂工作流，可条件分支与串联多步调用
- 作为中间层统一管理多个 LLM API，便于切换供应商和密钥
- 提供 REST 接口，能嵌入任何现有应用，不绑定特定前端
不足之处
- 项目较早期，文档和示例可能不够完善，上手需要读源码
- 社区规模较小，遇到问题可参考的讨论和第三方教程有限
适用场景
- 为聊天机器人动态选择不同模型并注入上下文
- 在应用中根据用户意图路由到不同提示词模板
- 串联多个 LLM 调用完成复杂任务，如先总结再翻译再润色
替代项目
LiteLLM、OpenRouter
上一篇：TensorSharp
下一篇：symforce
同类项目推荐
langfuse
开源
一站式搞定 LLM 应用调试、评估和提示词管理
Open source agent evals & observability: Trace, evaluate, and improve LLM applicatio···
traccia-py
开源
给 AI Agent 装上黑匣子，追踪、评估、治理一步到位
OpenTelemetry-native SDK for AI agent observability, tracing, evaluation, debugging,···
comfy2go
开源
用 Go 轻松接入 ComfyUI，快速实现图像生成服务
A Go-based API that acts as a bridge to the ComfyUI backend
distributed-llama
开源
把家里闲置设备组集群，跑大模型更快更省
Distributed LLM inference. Connect home devices into a powerful cluster to accelerat···
LLMRouter
开源
一个接口管多个大模型，自动挑最划算的那个
LLMRouter: An Open-Source Library for LLM Routing
frugon
开源
本地跑一跑，立刻看清 LLM 账单漏在哪
Free, local, open-source LLM cost analyzer - see where your LLM bill leaks, on your ···
mlflow
开源
每次实验全程留痕，模型好坏一眼看清不靠猜
The open source AI engineering platform for agents, LLMs, and ML models. MLflow enab···
yantr
开源
自托管 AI 应用商店，一站式安装管理你的 AI 工具
A self-hosted homelab app store for rootless Podman — runs alongside your OS, not i···
arboric
开源
给 AI 算力开经济模式，省 GPU 跑更多活
The "Economy Mode" for AI Compute