LLMCompiler

环境要求

• 已安装 conda（用于创建 Python 3.10 环境）
• Python 3.10
• 已安装 git 并可访问 GitHub
• OpenAI API Key，或通过 vLLM 部署的本地开源模型（如 LLaMA）

安装与启动步骤

1. 1创建 conda 环境

   新建名为 llmcompiler 的独立环境，指定 Python 3.10，-y 表示自动确认。

   conda create --name llmcompiler python=3.10 -y

   复制

2. 2激活环境

   后续所有安装与运行命令都要在这个已激活的环境中执行。

   conda activate llmcompiler

   复制

3. 3克隆仓库

   从 GitHub 拉取 LLMCompiler 源码到本地当前目录。

   git clone https://github.com/SqueezeAILab/LLMCompiler

   复制

4. 4安装依赖

   进入项目目录，按 requirements.txt 安装全部 Python 依赖。

   cd LLMCompiler
   pip install -r requirements.txt

   复制

5. 5配置 API Key

   使用 OpenAI 模型时，需先把 API Key 写入环境变量 OPENAI_API_KEY。

   export OPENAI_API_KEY="sk-xxx"

   复制

6. 6跑基准测试

   指定 benchmark 名称与结果保存路径；--stream 可流式执行降低延迟，--logging 可选。

   python run_llm_compiler.py --benchmark hotpotqa --store ./results/hotpotqa.json --stream

   复制

7. 7用 vLLM 模型运行

   本地用 vLLM 提供 OpenAI 兼容服务后，通过 model_type、model_name、vllm_port 指定模型与端口。

   python run_llm_compiler.py --model_type vllm --benchmark hotpotqa --store ./results/hotpotqa_vllm.json --model_name meta-llama/Llama-2-70b-hf --vllm_port 8000

   复制

关键配置

如何确认成功

命令运行结束后，查看 --store 指定的路径是否生成了 JSON 结果文件，其中包含问题、真实标签、预测和每条延迟。

常见问题

注意事项

• --logging 目前不支持 vLLM 运行方式
• vLLM 方式需先按 vLLM 官方文档启动 OpenAI 兼容服务，README 未给出部署命令
• 默认提示词针对非 chat 的 LLaMA-2 70B，其他模型需调整配置文件
• --logging 与 --stream、--do_benchmark、--react 均为可选参数