optillm

环境要求

• Python 3 环境（需支持 python3 -m venv）
• pip 包管理工具
• 可选：Docker，用于容器化部署
• 上游模型服务的 API Key（如 OPENAI_API_KEY、GEMINI_API_KEY）

安装与启动步骤

1. 1安装 OptiLLM

   使用 pip 从 PyPI 安装官方包，这是 README 给出的最快方式。建议在独立虚拟环境中安装，避免依赖冲突。

   pip install optillm

   复制

2. 2源码安装

   需要二次开发时用源码方式：克隆仓库、建虚拟环境、激活后安装 requirements.txt 里的依赖。

   git clone https://github.com/algorithmicsuperintelligence/optillm.git
   cd optillm
   python3 -m venv .venv
   source .venv/bin/activate
   pip install -r requirements.txt

   复制

3. 3Docker 启动服务

   拉取官方镜像并映射 8000 端口启动代理服务。镜像变体：latest 为完整版，latest-proxy 仅代理，latest-offline 可离线。

   docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest
   docker run -p 8000:8000 ghcr.io/algorithmicsuperintelligence/optillm:latest

   复制

4. 4设置模型密钥

   代理需要调用上游模型，把对应服务的 API Key 写入环境变量。OpenAI 与 Azure OpenAI 都使用 OPENAI_API_KEY。

   export OPENAI_API_KEY=sk-xxxxxxxx

   复制

5. 5客户端调用

   把 OpenAI 客户端的 base_url 指向 http://localhost:8000/v1，模型名前加 slug（如 moa）即可启用对应优化技术。

   import os
   from openai import OpenAI
   
   OPENAI_KEY = os.environ.get("OPENAI_API_KEY")
   OPENAI_BASE_URL = "http://localhost:8000/v1"
   client = OpenAI(api_key=OPENAI_KEY, base_url=OPENAI_BASE_URL)
   
   response = client.chat.completions.create(
     model="moa-gpt-4o",
     messages=[{"role": "user", "content": "Write a Python program to build an RL model to recite text from any position that the user provides, using only numpy."}],
     temperature=0.2
   )
   
   print(response)

   复制

关键配置

如何确认成功

启动日志出现 Loaded plugin 与 "Starting server with approach: auto"，客户端请求返回 HTTP 200 即成功。

常见问题

注意事项

• README 节选未给出 pip 安装后的服务启动命令，具体启动方式请查阅仓库最新文档。
• 使用 {slug}-model-name 前缀方式时，optillm 服务必须以 auto 推理模式启动，否则 model 字段只能填模型名。
• optillm 是透明代理，可对接任何具备 OpenAI 兼容 chat completions 端点的服务。
• 关闭 SSL 校验仅适用于开发环境或自签证书/企业代理场景。