LLMRouter

环境要求

• Python 3.10（README 徽章标注 PYTHON-3.10）
• 建议使用虚拟环境（README 示例使用 anaconda3）
• 调用 LLM 服务时需要对应提供商的 API Key
• 可选：RouterR1 相关支持需要 GPU
• 可选：接入 ComfyUI 需先安装 ComfyUI

安装与启动步骤

1. 1克隆代码仓库

   从源码安装的第一步，README 要求先 clone 仓库再以可编辑模式安装。执行后进入项目目录。

   git clone https://github.com/ulab-uiuc/LLMRouter.git
   cd LLMRouter

   复制

2. 2基础安装

   在虚拟环境中以 editable 模式安装基础包，只包含核心依赖，适合大多数路由场景。

   pip install -e .

   复制

3. 3安装全部可选依赖

   需要全部可选能力时使用，会安装额外的可选依赖包，体积更大。

   pip install -e ".[all]"

   复制

4. 4或从 PyPI 安装

   不想拉源码时的替代方案，直接安装发布到 PyPI 的包，适合快速试用。

   pip install llmrouter-lib

   复制

5. 5准备配置文件

   所有路径和参数都由 YAML 控制，可用仓库自带示例配置 llmrouter/data/sample_config.yaml，按需修改后即可运行。

6. 6配置 API Key

   运行推理（inference）和路由到真实模型时必须提供 API Key，按 README 的 Setting Up API Keys 章节配置后再执行推理。

7. 7按需接入 ComfyUI

   若要使用 ComfyUI 自定义节点，需先安装 ComfyUI 并创建两个符号链接，然后启动其服务。

   python /path/to/ComfyUI/main.py

   复制

关键配置

如何确认成功

执行 pip install -e . 无报错，并能成功导入库模块（如 from llmrouter.models.meta_router import MetaRouter）即表示安装完成。

常见问题

注意事项

• 本文档只覆盖 README 中出现的安装与配置信息，推理命令在节选中被截断，需查阅仓库文档补全。
• 仓库给出的示例配置可直接使用，也可按自己的数据目录和模型列表修改。
• 运行推理与真实调用模型都会产生费用，请先确认 API Key 与预算策略。
• ComfyUI 接入为可选能力，需另行安装 ComfyUI 并创建两个符号链接。