torchtitan

环境要求

• Python 3.11 及以上版本
• 已安装 PyTorch nightly（需匹配的 CUDA 或 ROCm 构建，如 cu132/rocm10.0）
• NVIDIA/AMD GPU 环境，真实模型训练按 README 使用 8 卡
• 下载 Llama 权重/tokenizer 需有 Hugging Face 对应仓库访问权限

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取 torchtitan 源码并进入项目目录，后续命令都在该目录执行。

   git clone https://github.com/pytorch/torchtitan && cd torchtitan

   复制

2. 2安装 PyTorch nightly

   安装最新 PyTorch 预览版，把 cu132 换成与你机器匹配的 CUDA 或 ROCm 构建。

   pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu132

   复制

3. 3安装项目依赖

   在仓库根目录安装 requirements.txt 中的依赖，确保训练脚本可运行。

   pip install -r requirements.txt

   复制

4. 4跑通调试模型

   用单卡跑 Llama 3 debug 模型共 10 步，使用测试内置 tokenizer，无需下载任何资产。

   NGPU=1 ./run_train.sh

   复制

5. 5下载 tokenizer

   训练真实模型前先下载 tokenizer；Llama 权重需在 Hugging Face 申请访问权限并填入真实 token。

   python scripts/download_hf_assets.py --repo_id meta-llama/Llama-3.1-8B --assets tokenizer --hf_token=...

   复制

6. 6训练真实模型

   通过 MODULE 与 CONFIG 选择配方运行 Llama 3 8B，README 示例使用 8 张 GPU。

   MODULE=torchtitan_recipes.models.llama3 CONFIG=llama3_8b ./run_train.sh

   复制

关键配置

如何确认成功

执行 ./run_train.sh 后终端正常输出训练日志并完成配置的步数（调试模型 10 步），即表示启动成功。

常见问题

注意事项

• torchtitan 处于活跃开发阶段，使用最新功能请搭配近期的 PyTorch nightly。
• 调试模型使用测试中自带的 tokenizer，无需下载任何资产即可跑通。
• 真实模型训练前需准备 Hugging Face 访问权限，README 示例使用 8 张 GPU。
• 也可用 nightly 或稳定版方式安装：pip install --pre torchtitan --index-url https://download.pytorch.org/whl/nightly/cu132 或 pip install torchtitan。