Taiwan-LLM

环境要求

• Docker（用于运行 Axolotl 镜像）
• NVIDIA GPU 与可用的 CUDA 驱动（README 以 --gpus 方式启动）
• Python 环境（使用 openai SDK 需 1.0.0 以上版本）
• 可访问 twllm.com 与 Hugging Face 的网络环境

安装与启动步骤

1. 1在线体验效果

   打开官网 Demo 直接和 Llama-3-Taiwan 对话，无需本地安装任何环境，适合先确认模型是否符合需求。

2. 2启动训练容器

   用 Docker 运行 Axolotl 官方镜像，--gpus '"all"' 暴露全部 GPU，--rm 表示退出后自动删除容器。

   docker run --gpus '"all"' --rm -it winglian/axolotl:main-latest

   复制

3. 3预处理数据集

   在容器内执行 Axolotl 预处理；README 示例把 CUDA_VISIBLE_DEVICES 置空，配置名被截断，需换成自己的配置。

   CUDA_VISIBLE_DEVICES="" python -m axolotl.cli.preprocess example_training_config_

   复制

4. 4安装 OpenAI SDK

   若要用 Python 调用模型接口，先安装 1.0.0 以上版本的 openai 包，再在代码中 from openai import OpenAI。

   pip install "openai>=1.0.0"

   复制

关键配置

如何确认成功

容器能正常进入交互式 shell 且不报错，或在线 Demo twllm.com 能正常对话，即表示环境可用。

常见问题

注意事项

• README 节选未给出完整的安装与推理部署步骤，实际使用请以仓库最新文档为准。
• Axolotl 镜像体积较大，拉取耗时较长，需预留足够的磁盘空间。
• 微调训练对显存要求较高，建议在配备 NVIDIA GPU 的机器上执行。
• 使用前请阅读并遵守项目的 LICENSE 与 DATA_LICENSE 授权条款。