Yi

环境要求

• 安装 Docker（docs.docker.com 官方安装指南）
• 安装 nvidia-container-toolkit 以支持 GPU 容器
• 本地已有 Yi 模型权重文件（从 Hugging Face / ModelScope / wisemodel 下载）
• 充足显存：README 的教程以 NVIDIA A800 80GB 或 4×4090 为例
• 34B 微调场景：8 卡（每卡 >80GB 显存）且 CPU 内存 >900GB

安装与启动步骤

1. 1安装运行环境

   按 README 要求先装好 Docker 与 nvidia-container-toolkit，否则 GPU 容器无法启动。

2. 2准备模型权重

   从 Hugging Face、ModelScope 或 wisemodel 下载 Yi 模型到本地目录，记录该绝对路径。

3. 3启动 Yi 容器

   把本地模型目录挂载到容器 /models，并开启全部 GPU； 换成真实路径。

   docker run -it --gpus all -v /your/model/path:/models ghcr.io/01-ai/yi:latest

   复制

4. 4备用镜像源拉取

   若 ghcr.io 拉取缓慢或失败，README 提供了零一万物的备用镜像地址，可改用该地址。

   docker pull registry.lingyiwanwu.com/ci/01-ai/yi:latest

   复制

5. 5容器内执行推理

   进入容器后按 pip 教程的推理方式操作，唯一区别是把 model_path 指向挂载路径 /models。

   model_path = '/models'

   复制

6. 6conda-lock 方式安装

   不使用 Docker 时，可用 micromamba 按 conda-lock.yml 一次性创建名为 yi 的环境。

   micromamba install -y -n yi -f conda-lock.yml

   复制

7. 7低资源改用 llama.cpp

   显存有限（如 MacBook Pro）时改用 llama.cpp 运行 2bit 量化模型，步骤见 README_llama.cpp.md。

关键配置

如何确认成功

docker run 后能进入容器命令行即镜像启动成功；容器内把 model_path 设为挂载路径并推理，能正常输出文本即部署完成。

常见问题

注意事项

• Docker 启动命令中的 是占位符，必须替换成你本地的真实模型目录。
• README 的 Docker 命令写作 -v : /models，实际挂载点以冒号后的 /models 为准。
• 零一万物官方 API 与 Playground 需申请白名单，本文按官方开放流程说明，非白名单用户请先用第三方渠道。
• pip 与 llama.cpp 的详细命令未在本节 README 中展开，需跳转仓库对应文档查看后再执行。