Llama-Chinese

环境要求

• Python 3.10 以上版本
• 已安装 git
• 网络可访问 HuggingFace / ModelScope / WiseModel 以下载模型
• 建议具备 NVIDIA GPU（推理代码会优先使用 CUDA 并启用 8bit 加载）

安装与启动步骤

1. 1克隆仓库装依赖

   克隆 Llama-Chinese 仓库并进入目录，按 requirements.txt 安装所需 Python 软件包；请先确认 Python 版本在 3.10 以上。

   git clone https://github.com/LlamaFamily/Llama-Chinese.git
   cd Llama-Chinese
   pip install -r requirements.txt

   复制

2. 2下载中文模型

   从 HuggingFace、ModelScope 或 WiseModel 下载 Atom-7B-Chat 模型权重到本地；README 未给出下载命令，需按对应页面指引下载。

3. 3运行推理脚本

   新建 quick_start.py，把 README 中的 transformers 推理示例代码粘贴进去，保存后运行，即可看到对“介绍一下中国”的回答。

   python quick_start.py

   复制

4. 4启动Gradio界面

   运行 chat_gradio.py 并传入模型名称，即可打开支持流式输出的网页问答界面；换模型只需改 model_name_or_path。

   python examples/chat_gradio.py --model_name_or_path FlagAlpha/Atom-7B-Chat

   复制

5. 5Docker方式部署

   先克隆仓库并用 docker/Dockerfile 构建镜像，再进入 docker 目录用 docker-compose 后台启动 chat_gradio 服务。

   git clone https://github.com/LlamaFamily/Llama-Chinese.git
   cd Llama-Chinese
   docker build -f docker/Dockerfile -t flagalpha/llama2-chinese:gradio .
   cd docker
   docker-compose up -d --build

   复制

6. 6ollama一键运行

   按 ollama 官网说明先安装 ollama 工具，再用一条命令拉取并运行社区提供的中文微调模型，适合快速体验。

   ollama run llamafamily/llama3-chinese-8b-instruct

   复制

关键配置

如何确认成功

运行 python quick_start.py 后终端能打印出模型生成的中文文本，即表示模型加载与推理成功。

常见问题

注意事项

• README 中的克隆地址为 LlamaFamily/Llama-Chinese，请以 README 给出的命令为准。
• 推荐使用 Atom-7B-Chat 等中文微调模型，直接使用原生 Llama 中文效果较差。
• Docker 部署的详细说明见仓库 docs/chat_gradio_guide.md。
• 项目完全开源可商用，适合研究、教学和商业应用。