serve

环境要求

• Python >= 3.8
• 已安装 pip 或 conda
• 如需 GPU 加速：CUDA（如 cu121）或 ROCm（如 rocm61）环境
• 部署 LLM 需要 Hugging Face 账号并登录，且机器具备 GPU（Docker 方式需 --gpus all）

安装与启动步骤

1. 1获取项目源码

   README 中的安装脚本位于仓库内，需先克隆代码并在仓库根目录执行后续命令。

   git clone https://github.com/pytorch/serve.git
   cd serve

   复制

2. 2安装基础依赖

   在仓库根目录运行自带的依赖安装脚本，Python 版本需不低于 3.8。

   python ./ts_scripts/install_dependencies.py

   复制

3. 3安装加速器依赖

   需要 GPU 支持时，按硬件选择对应标志安装；NVIDIA 用 cuda，AMD 用 rocm，二选一。

   python ./ts_scripts/install_dependencies.py --cuda=cu121

   复制

4. 4安装 TorchServe

   通过 pip 安装最新 release 的三个核心包；nightly 版本可改用 torchserve-nightly 系列包。

   pip install torchserve torch-model-archiver torch-workflow-archiver

   复制

5. 5登录 Hugging Face

   部署 LLM 前必须先登录，否则无法拉取 meta-llama 等受限模型权重。

   huggingface-cli login

   复制

6. 6启动 LLM 服务

   用 ts.llm_launcher 启动本地 LLM 推理服务，示例使用 Llama-3.2-3B-Instruct。

   python -m ts.llm_launcher --model_id meta-llama/Llama-3.2-3B-Instruct --disable_token_auth

   复制

7. 7Docker 方式部署

   先构建 vLLM 镜像，再挂载 data 卷并以 GPU 启动；token 通过环境变量传入。

   export token=hf_xxxxxxxx
   docker build --pull . -f docker/Dockerfile.vllm -t ts/vllm
   docker run --rm -ti --shm-size 10g --gpus all -e HUGGING_FACE_HUB_TOKEN=$token -p 8080:8080 -v data:/data ts/vllm --model_id meta-llama/Meta-Llama-3-8B-Instruct --disable_token_auth

   复制

关键配置

如何确认成功

服务监听 8080 端口后，执行 curl http://127.0.0.1:8080/predictions/bert -T input.txt，能返回推理结果即部署成功。

常见问题

注意事项

• README 顶部公告：项目已停止积极维护，使用前请自行评估安全风险。
• 安全默认值已变更：token 授权默认开启、Model API control 默认关闭，生产部署需按官方文档调整。
• README 节选中 Docker、conda 章节内容为空或截断，nightly 安装命令也不完整，具体细节请查阅官网 https://pytorch.org/serve 与 GitHub 文档。
• LLM 部署示例依赖 Hugging Face 登录与 GPU，且需自行准备 input.txt 等测试输入。