functionary

环境要求

• Python 环境，可用 pip 安装依赖
• GPU 环境（vLLM/SGLang 推理需要，README 使用 --tensor-parallel-size 2 / --tp 2）
• 已安装 vLLM 或 SGLang 其中一种（二选一）
• 能访问 Hugging Face 下载模型权重（如 meetkai/functionary-medium-v3.1）

安装与启动步骤

1. 1获取项目代码

   克隆仓库并进入目录，后续 pip install -e . 需要在仓库根目录执行。

   git clone https://github.com/MeetKai/functionary.git
   cd functionary

   复制

2. 2安装 vLLM 版本依赖

   二选一：使用 vLLM 作为推理后端时执行该命令安装依赖。

   pip install -e .[vllm]

   复制

3. 3安装 SGLang 版本依赖

   二选一：使用 SGLang 后端时执行，需带 flashinfer 的 find-links 参数。

   pip install -e .[sglang] --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

   复制

4. 4设置 vLLM 环境变量

   vLLM 必须先设置该变量，否则多进程方式可能导致启动失败。

   export VLLM_WORKER_MULTIPROC_METHOD=spawn

   复制

5. 5启动 vLLM 服务

   启动 OpenAI 兼容服务，按显存调整 max-model-len 与 tensor-parallel-size（示例为 2 卡）。

   python server_vllm.py --model "meetkai/functionary-medium-v3.1" --host 0.0.0.0 --port 8000 --max-model-len 8192 --tensor-parallel-size 2

   复制

6. 6启动 SGLang 服务

   vLLM 之外的另一种启动方式，参数名不同：model-path、context-length、tp。

   python server_sglang.py --model-path "meetkai/functionary-medium-v3.1" --host 0.0.0.0 --port 8000 --context-length 8192 --tp 2

   复制

7. 7OpenAI 兼容方式调用

   服务默认监听 8000 端口，用 OpenAI SDK 指向 http://localhost:8000/v1 并传入 tools 定义。

   from openai import OpenAI
   
   client = OpenAI(base_url="http://localhost:8000/v1", api_key="functionary")
   
   client.chat.completions.create(
       model="meetkai/functionary-v4r-small-preview",
       messages=[{"role": "user",
               "content": "What is the weather for Istanbul?"}
       ],
       tools=[{
               "type": "function",
               "function": {
                   "name": "get_current_weather",
                   "description": "Get the current weather",
                   "parameters": {
                       "type": "object",
                       "properties": {
                           "location": {
                               "type": "string",
                               "description": "The city and state, e.g. San Francisco, CA"
                           }
                       },
                       "required": ["location"]
                   }
               }
           }],
       tool_choice="auto"
   )

   复制

8. 8Modal 无服务器部署

   可选：安装并登录 Modal 后，创建环境、切换环境、本地 serve 调试，最后 deploy 上线。

   modal environment create dev
   modal config set-environment dev
   modal serve modal_server_vllm
   modal deploy modal_server_vllm

   复制

关键配置

如何确认成功

服务启动后监听 8000 端口，用 OpenAI SDK 或 requests POST 到 http://127.0.0.1:8000/v1/chat/completions 能正常返回结果即成功。

常见问题

注意事项

• 项目已标记 deprecated，代码和文档可能已过时，不建议用于新生产系统。
• 示例命令使用 2 卡并行并加载较大模型，需要足够显存，可按实际硬件调整参数。
• README 给出了 vLLM 与 SGLang 两套部署路径，请只选择其中一套，避免混用参数。
• 使用 Modal 部署前需先注册账号并安装 Modal、完成登录。