truss

环境要求

• Python 环境（可用 pip 安装包）
• 已安装 uv 包管理器（提供 uvx 命令）
• 已注册或登录 Baseten 账号（app.baseten.co）
• 准备一个 config.yaml，用于声明模型、硬件与推理引擎

安装与启动步骤

1. 1安装 Truss

   用 pip 安装并升级 Truss CLI，安装完成后即可使用 truss 命令；也可以跳过此步，直接用 uvx 运行。

   pip install --upgrade truss

   复制

2. 2安装 uv 工具

   按 uv 官方文档安装这个快速 Python 包管理器；本指南用 uvx 直接运行 Truss 命令，无需单独安装步骤。

3. 3注册 Baseten 账号

   前往 app.baseten.co 注册或登录。部署会把模型推到 Baseten 云端，运行在 GPU 上，注意产生用量。

4. 4编写 config.yaml

   新建 config.yaml，声明要部署的模型、硬件和引擎，例如 Qwen2.5-3B-Instruct 搭配 L4 GPU 与 TRT-LLM。

5. 5推送到 Baseten

   执行 push 完成部署，默认是正式发布部署；TRT-LLM 不支持 --watch 开发模式（--watch 仅用于自定义 Python 模型）。

   uvx truss push

   复制

6. 6记录部署信息

   从终端输出中保存 Model ID、Deployment ID、Endpoint 与 Logs 链接，其中 Model ID 用于调用模型 API。

如何确认成功

终端出现 “Model Qwen 2.5 3B was successfully pushed” 并打印 Model ID、Deployment ID 与 Endpoint 地址，即部署成功。

常见问题

注意事项

• 默认 push 是正式发布部署，不是开发模式；开发模式需额外加 --watch 且不适用于 TRT-LLM。
• 部署过程会下载 Hugging Face 权重并用 TensorRT-LLM 编译，随后部署到 L4 GPU，耗时与云端费用取决于模型大小。
• README 未提供 config.yaml 的字段示例，本教程未虚构任何配置项，实际字段请以官方文档为准。