BentoML

环境要求

• Python 虚拟环境（用于安装 BentoML 及相关依赖）
• 本地运行推理服务需额外安装 torch 与 transformers
• 打包成容器镜像时本机需已安装并运行 Docker
• 部署到 BentoCloud 需先注册账号并登录获取 API token

安装与启动步骤

1. 1安装 BentoML

   README 的安装代码块为空，未给出具体命令，请按官网文档安装 BentoML，安装后确认 bentoml 命令可用。

2. 2安装本地运行依赖

   在 Python 虚拟环境中额外安装 PyTorch 和 Transformers，否则示例服务无法在本地运行。

   pip install torch transformers

   复制

3. 3本地启动服务

   在项目目录执行，服务默认监听 http://localhost:3000，终端出现 Starting production HTTP BentoServer 即启动成功。

   bentoml serve

   复制

4. 4调用接口验证

   用 Python 脚本通过 SyncHTTPClient 访问本地 3000 端口，确认服务能正常返回推理结果。

   import bentoml
   
   with bentoml.SyncHTTPClient('http://localhost:3000') as client:
       summarized_text: str = client.summarize([bentoml.__doc__])[0]
       print(f"Result: {summarized_text}")

   复制

5. 5构建 Bento 包

   bentoml build 会把代码、模型和依赖配置打包成 Bento，这是 BentoML 的标准可部署产物。

   bentoml build

   复制

6. 6生成容器镜像

   确保本机 Docker 正在运行，再执行 containerize 生成可部署的 Docker 镜像。

   bentoml containerize summarization:latest

   复制

7. 7运行容器

   把容器 3000 端口映射到宿主机 3000，用 --rm 让容器退出后自动清理。

   docker run --rm -p 3000:3000 summarization:latest

   复制

8. 8部署到 BentoCloud

   先登录生成 API token，再在当前目录执行部署命令推送到云上。

   bentoml cloud login
   bentoml deploy

   复制

关键配置

如何确认成功

终端出现 Starting production HTTP BentoServer ... listening on http://localhost:3000，浏览器打开 http://localhost:3000 可正常推理。

常见问题

注意事项

• README 中 “Install BentoML” 下的代码块为空，安装步骤请参照官网文档，切勿照搬本教程。
• 本地运行示例需要先 pip install torch transformers 补依赖。
• Docker 打包前必须确认本机 Docker 已启动，否则 containerize 会失败。
• 示例镜像名为 summarization:latest，实际项目请替换成自己构建的 Bento 名称。