dia2

环境要求

• 安装 uv 包管理工具（README 明确要求）
• CUDA 12.8+ 显卡驱动
• Python 环境（由 uv sync 自动创建虚拟环境）
• 生成阶段需下载 nari-labs/Dia2-2B 权重、tokenizer 与 Mimi 编码器

安装与启动步骤

1. 1安装项目依赖

   在项目根目录执行一次即可，uv 会按项目配置创建虚拟环境并装好全部依赖。后续所有命令都以 uv run 方式运行。

   uv sync

   复制

2. 2准备对话脚本

   编辑 input.txt，用 [S1] / [S2] 标记不同说话人的台词。模型仅支持英文，单次生成最长约 2 分钟。

3. 3生成语音

   通过 CLI 生成音频，首轮会自动下载权重与 tokenizer；有 CUDA 时自动用 GPU，否则回落 CPU，精度默认 bfloat16。

   uv run -m dia2.cli \
     --hf nari-labs/Dia2-2B \
     --input input.txt \
     --cfg 6.0 --temperature 0.8 \
     --cuda-graph --verbose \
     output.wav

   复制

4. 4条件生成(推荐)

   用前缀音频提供上下文可获得更稳定自然的输出。示例中 speaker1 放助手音色、speaker2 放用户输入，生成对用户的回应。前缀文件会用 Whisper 转录，额外增加耗时。

   uv run -m dia2.cli \
     --hf nari-labs/Dia2-2B \
     --input input.txt \
     --prefix-speaker-1 example_prefix1.wav \
     --prefix-speaker-2 example_prefix2.wav \
     --cuda-graph --verbose \
     output_conditioned.wav

   复制

5. 5启动网页界面

   运行 Gradio 应用，在浏览器中交互式试听与调参，适合快速体验。终端会打印本地访问地址。

   uv run gradio_app.py

   复制

6. 6代码中调用

   在 Python 中直接加载模型并生成。生成会持续到 max_context_steps(1500，约 2 分钟) 或检测到 EOS 为止，返回结果含音频 token、波形张量和词级时间戳。

关键配置

如何确认成功

终端无报错并生成 output.wav（或 output_conditioned.wav），播放确认语音正常；Gradio 方式则浏览器打开终端打印的本地地址。

常见问题

注意事项

• 所有命令需在项目根目录执行，保证 uv 能找到项目配置。
• 必须使用 CUDA 12.8+ 驱动，否则无法发挥 GPU 加速。
• 模型为开放权重，支持流式生成，输入前几个词即可开始出音频。
• 项目仍在成长阶段，Bonsai(JAX) 实现、TTS Server、Sori 等能力尚未发布。