
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 19407
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(可运行 pip / python)
- 具备 CUDA 的 GPU(示例代码使用 torch_device = "cuda")
- git(用于克隆仓库与从 GitHub 安装)
- 可选:uv(README 提供 uv 运行方式)
- Hugging Face Transformers(如需用 Transformers 方式运行,require 从 GitHub 安装)
安装与启动步骤
-
1克隆项目仓库
把 dia 源码拉到本地,后续可编辑安装需要进入该目录操作。
git clone https://github.com/nari-labs/dia.git -
2本地可编辑安装
在仓库目录内执行可编辑安装,README 中 Install via pip 的第一种方式。
cd dia pip install -e . -
3或不克隆直接安装
README 给出的另一种方式:直接从 GitHub 安装,不克隆仓库。
pip install git+https://github.com/nari-labs/dia.git -
4运行示例脚本
README 安装完成后建议运行示例,验证模型能生成语音。
python example/simple.py -
5启动应用
使用 uv 运行 app.py,需先安装 uv。
uv run app.py -
6使用命令行工具
通过 cli.py 使用命令行方式,README 先以 --help 查看用法。
python cli.py --help -
7Hugging Face 方式
README UPDATE 说明可用 Transformers 运行,需从 GitHub 安装 transformers。
uv pip install git+https://github.com/huggingface/transformers.git
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
model_checkpoint | 是 | Hugging Face 上的模型权重仓库名 | nari-labs/Dia-1.6B-0626 |
max_new_tokens | 否 | 生成的最大新 token 数 | 3072 |
guidance_scale | 否 | 引导强度,影响生成贴合度 | 3.0 |
temperature | 否 | 采样温度,控制随机性 | 1.8 |
top_p | 否 | 核采样阈值 | 0.90 |
top_k | 否 | top-k 采样保留的候选数 | 45 |
如何确认成功
运行示例或 app.py 后能正常生成语音;用 Transformers 脚本会保存 example.mp3,能播放即成功。
常见问题
Q:每次运行生成的音色都不一样怎么办?
A:README 说明模型未针对特定声音微调,所以每次音色不同。可通过添加音频提示(audio prompt)或固定随机种子来保持说话人一致。
Q:使用 5000 系列 GPU 报错怎么办?
A:README 提示 5000 系列 GPU 应使用 torch 2.8 nightly,详见项目 issue #26。
Q:如何用 Hugging Face Transformers 运行?
A:先安装 GitHub 版 transformers(uv pip install git+https://github.com/huggingface/transformers.git),再用 DiaForConditionalGeneration 和 AutoProcessor 加载 nari-labs/Dia-1.6B-0626。
Q:没安装 uv 怎么办?
A:可以改用 pip 方式安装和运行,例如 pip install -e . 后运行 python example/simple.py 或 python cli.py --help。
注意事项
- 脚本中用 [S1]、[S2] 标记不同说话人,可按此格式编写对话文本。
- 模型未针对特定声音微调,每次运行音色可能不同。
- 5000 系列 GPU 需使用 torch 2.8 nightly。
- README 未给出显存、CUDA 版本等具体硬件要求,请按实际环境确认。
核心亮点
- 单次前向生成超逼真对话音频,无需多阶段拼接,技术架构领先
- 开源开放权重模型,社区可自由下载使用和二次开发,生态潜力大
- 在TTS领域快速获得近2万星标,验证了技术路线和效果得到广泛认可
不足之处
- 文档/社区待观察
适用场景
- 影视/游戏角色对话配音制作,快速生成高质量对白
- 有声书/播客等长音频内容中多角色对话场景的自动化合成
- 语音交互原型验证与虚拟助手对话回复的快速生成
替代项目
ChatTTS、GPT-SoVITS、CosyVoice
同类项目推荐
korean-voice-acting-engine
开源
本地跑通韩语配音训练、转换与审查全流程
Local-first Korean voice acting engine for Codex-assisted training, voice conversion···
MOSS-Audio-Tokenizer
开源
把音频变成 token,让大模型能听会说
A 1.6B causal Transformer audio tokenizer with streaming, variable bitrates, and sem···
NaturalVoiceSAPIAdapter
开源
让老软件用上 Azure 自然语音,即插即用
Make Azure natural TTS voices accessible to any SAPI 5-compatible application.
MusicGenerator
开源
用 TensorFlow 玩转多种深度学习音乐生成模型
Experiment diverse Deep learning models for music generation with TensorFlow
supertonic
开源
离线秒级生成多语言语音,隐私安全不卡顿
Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.
Comprehensive-Transformer-TTS
开源
用Transformer并行合成语音,速度飞快,效果媲美SOTA。
A Non-Autoregressive Transformer based Text-to-Speech, supporting a family of SOTA t···
SSR-Speech
开源
零样本语音编辑与合成,稳定安全又抗造
SSR-Speech: Towards Stable, Safe and Robust Zero-shot Speech Editing and Synthesis
radium
开源
图形化 tracker,像 DAW 一样拖音符,保留逐行编辑精度
A graphical music editor. A next generation tracker.
Cognitive-Speech-TTS
开源
微软官方TTS示例,快速实现文本转高质量语音
Microsoft Text-to-Speech API Samples