Chinese-Llama-2-7b

环境要求

• 带 NVIDIA 显卡的机器，并安装可用的 CUDA 驱动（docker run 使用 --gpus all）
• 已安装 Docker 与 NVIDIA Container Toolkit（nvidia-container-runtime）
• 已获取 Chinese-Llama-2-7b 模型权重（HuggingFace / ModelScope / 始智AI 任一渠道下载）
• API 方式部署还需 Python 环境，可 pip 安装 fastapi、uvicorn
• 构建镜像需要能访问 nvcr.io 上的 pytorch:23.06-py3 基础镜像

安装与启动步骤

1. 1下载模型权重

   从 README 给出的 HuggingFace、ModelScope 或始智AI 链接下载 Chinese-Llama-2-7b 权重到本地目录，供容器挂载使用。

2. 2构建 Docker 镜像

   在项目目录（含 Dockerfile）下执行，基于 nvcr.io/nvidia/pytorch:23.06-py3 构建中文 LLaMA2 镜像，首次构建耗时较长。

   docker build -t linksoul/chinese-llama2-chat .

   复制

3. 3运行容器

   启用全部 GPU 并放开共享内存限制，把当前目录下的 LinkSoul 挂载到容器 /app/LinkSoul，映射 7860 端口并启动 Demo。

   docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --rm -it -v `pwd`/LinkSoul:/app/LinkSoul -p 7860:7860 linksoul/chinese-llama2-chat

   复制

4. 4安装 API 依赖

   如改用 API 方式部署，需先安装 README 指定的额外依赖 fastapi 与 uvicorn。

   pip install fastapi uvicorn

   复制

5. 5启动 API 服务

   运行仓库中的 api.py，服务默认部署在本地 8000 端口，通过 POST 方法调用。

   python api.py

   复制

6. 6调用接口验证

   用 curl 以 POST 方式提交 prompt 与 history 字段，返回 JSON 中包含 response、history、status、time。

   curl -X POST "http://127.0.0.1:8000" -H 'Content-Type: application/json' -d '{"prompt": "你好", "history": []}'

   复制

关键配置

如何确认成功

容器启动后浏览器访问 http://127.0.0.1:7860 可打开 Demo；API 方式执行 curl 后返回 status 为 200 的 JSON。

常见问题

注意事项

• 输入格式严格遵循 llama-2-chat 格式，兼容针对原版 llama-2-chat 的各类优化。
• 模型与中英文 SFT 数据集全部开源，可完全商用。
• Docker 镜像基于 nvcr.io/nvidia/pytorch:23.06-py3，构建环境需能访问该镜像源。
• api.py 返回的 history 中会包含系统提示词原文，集成时注意长度控制。