YAYI

环境要求

• Linux 环境（本地或远程服务器），可访问 GitHub 与 HuggingFace
• 已安装 conda，用于创建 Python 3.8 环境
• Python 3.8
• GPU 显卡（A100/A800/3090 等），7B 模型 FP16 推理约需 20GB 显存

安装与启动步骤

1. 1克隆仓库

   把 YAYI 仓库拉到本地或远程服务器，并进入仓库根目录，后续命令都在该目录执行。

   git clone https://github.com/wenge-research/YAYI.git
   cd YAYI

   复制

2. 2创建conda环境

   按 README 要求用 Python 3.8 新建名为 yayi 的独立环境，避免与已有依赖冲突。

   conda create --name yayi python=3.8
   conda activate yayi

   复制

3. 3安装依赖

   安装仓库 requirements.txt 中列出的依赖，torch 和 transformers 版本不建议低于推荐版本。

   pip install -r requirements.txt

   复制

4. 4下载模型权重

   仓库不含权重，需到 HuggingFace wenge-research 页面下载 yayi-7b、yayi-7b-llama2 或 yayi-13b-llama2。

5. 5运行模型推理

   用 transformers 加载本地权重做下游任务推理；README 示例可在单张 A100/A800/3090 上以 FP16 运行。

如何确认成功

在单张 A100/A800/3090 上执行推理脚本，模型能顺利加载并输出中文结果，且不出现显存不足报错。

常见问题

注意事项

• README 中给出的推理示例代码不完整（导入语句被截断），实际调用方式需参考 HuggingFace 模型页说明。
• 模型权重需单独下载，仓库只有代码和依赖清单。
• 企业私有化部署场景注意数据安全与合规要求。