inference

环境要求

• Python 环境（用于 pip 安装 xinference）
• Docker（使用 Docker 镜像部署时需先安装）
• CUDA（Nvidia GPU 用户使用 Docker 镜像前需配置）
• Helm 与 Kubernetes 集群（仅 K8s 部署方式需要）

安装与启动步骤

1. 1pip 安装 Xinference

   使用 pip 安装完整版 Xinference，包含全部依赖；如需精简安装方式可参考官方 Installation 页面。

   pip install "xinference[all]"

   复制

2. 2启动本地服务

   运行该命令在本地启动 Xinference 实例，启动后可通过 WebUI、cURL、命令行或 Python 客户端调用。

   xinference-local

   复制

3. 3Docker 部署（GPU）

   Nvidia GPU 用户可用官方镜像启动服务，把 </on/your/host> 换成宿主机真实目录，端口映射为 9997。

   docker run --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v </on/your/host>:/data --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

   复制

4. 4K8s Helm 部署

   在 Kubernetes 集群中用 Helm 安装 Xinference，把 <xinference_release_version> 换成实际版本号；更多定制方式见文档。

   helm install xinference xinference/xinference -n xinference --version 0.0.1-v<xinference_release_version>

   复制

5. 5访问并调用服务

   服务运行后，通过 WebUI、cURL、命令行或 Xinference Python 客户端试用，调用方式见官方文档。

关键配置

如何确认成功

服务启动后端口 9997 可访问，通过 WebUI、cURL、命令行或 Python 客户端确认可正常调用模型。

常见问题

注意事项

• Docker 命令中的 </on/your/host> 是占位符，执行前必须替换为宿主机真实目录路径。
• Helm 命令中的 <xinference_release_version> 需替换为实际的发布版本号。
• GPU 部署依赖 CUDA，未配置 CUDA 环境时不要使用 --gpus all 参数。
• 更多安装、内置模型、自定义模型与部署细节请查阅 inference.readthedocs.io 官方文档。