infinity

环境要求

• 可用的 Python 环境与虚拟环境（pip 方式安装需要）
• Docker 方式需安装 nvidia-docker，并能用 --gpus all 挂载加速器
• 需要能访问 HuggingFace 下载模型权重
• ROCm 镜像需本机已正确安装 ROCm 并支持 Docker

安装与启动步骤

1. 1安装 Infinity CLI

   在已激活的虚拟环境中用 pip 安装，[all] 会带上全部推理后端依赖。

   pip install infinity-emb[all]

   复制

2. 2启动推理服务

   用 v2 子命令启动 REST API，--model-id 指定 HuggingFace 模型，可重复传入多个模型。

   infinity_emb v2 --model-id BAAI/bge-small-en-v1.5

   复制

3. 3查看全部参数

   列出 v2 支持的所有命令行参数与说明，便于按需调整端口、引擎等配置。

   infinity_emb v2 --help

   复制

4. 4Docker 启动（推荐）

   用官方镜像运行，需 --gpus all 挂载加速器，模型缓存挂载到容器内 /app/.cache。

   port=7997
   model1=michaelfeil/bge-small-en-v1.5
   model2=mixedbread-ai/mxbai-rerank-xsmall-v1
   volume=$PWD/data
   
   docker run -it --gpus all \
    -v $volume:/app/.cache \
    -p $port:$port \
    michaelf34/infinity:latest \
    v2 \
    --model-id $model1 \
    --model-id $model2 \
    --port $port

   复制

5. 5CPU 镜像启动

   没有 GPU 时改用 latest-cpu 镜像，README 建议优先使用 optimum 引擎。

   docker run -it \
     -v $volume:/app/.cache \
     -p $port:$port \
     michaelf34/infinity:latest-cpu \
     v2 \
     --engine optimum \
     --model-id $model1 \
     --model-id $model2 \
     --port $port

   复制

6. 6挂载本地模型

   把本地已有的模型目录挂载进容器，再在 --model-id 里传容器内的路径。

   git lfs install 
   cd /tmp
   mkdir models && cd models && git clone https://huggingface.co/BAAI/bge-small-en-v1.5
   docker run -it   -v /tmp/models:/models  -p 8081:8081  michaelf34/infinity:latest v2  --model-id "/models/bge-small-en-v1.5" --port 8081

   复制

7. 7安装 Python 客户端

   需要在本地代码中调用远程 Infinity 实例时，安装官方生成的 RestAPI 客户端包。

   pip install infinity_client

   复制

关键配置

如何确认成功

CLI 启动无报错，并监听你设置的 --port 端口（示例 7997），容器日志正常输出即为成功。

常见问题

注意事项

• Docker 运行时务必挂载加速器（--gpus all）；容器内缓存路径由环境变量 HF_HOME 控制，示例挂载到 /app/.cache。
• latest-rocm 与 latest-trt-onnx 镜像未通过 CI/CD 构建、体积较大，建议固定到具体版本号使用。
• LL 参数均有等价环境变量，格式为 INFINITY_{UPPER_CASE_SNAKE_CASE}，多值用分号分隔。
• 使用 --engine ctranslate2 时仅支持 BERT 类模型。