项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 449
使用教程
环境要求
- NVIDIA GPU
- conda 或 venv
- 音频数据集
安装与启动步骤
-
1拉仓库
注意它历史上在另一组织下，克隆地址以 README 为准。
git clone https://github.com/alibaba/FunCodec.git && cd FunCodec -
2装成本地包
必须用可编辑方式装，配置才会被识别。
pip install --editable ./ -
3跑一次编解码
先只做编码解码重建，确认能听出原音。
bash encoding_decoding.sh --stage 0 --model_name <模型名> --model_hub modelscope -
4再跑训练或微调
数据准备脚本会先把音频切段并提取特征。
bash run.sh --stage 0 --stop_stage 3 --gpu_devices 0,1 --gpu_num 2
如何确认成功
一段语音编解码往返后，人声可辨且没有明显金属音，重建指标与原论文同量级
注意事项
- 它是语音编解码器工具箱，不是语音合成模型，做的是压缩与重建。
- 模型从 ModelScope 或 HuggingFace 拉，国内优先用前者。
- 训练脚本参数多，先把 stage 0 跑通再往后。
- 项目自述仍在推进中，接口可能变。
- 商用前看模型许可，编解码器常与TTS 模型绑定授权。
核心亮点
- 提供多种预训练模型，开箱即用，降低音频量化研究门槛
- 模块化设计，支持自定义量化器和编解码器，便于实验扩展
- 针对生成任务优化，token 语义保留好，利于下游 TTS/音乐模型
不足之处
- 文档/社区待观察
- 依赖特定深度学习框架，迁移成本较高
适用场景
- 学术研究：对比不同音频量化方法对生成质量的影响
- TTS 系统开发：将文本转为离散音频 token 后接入语言模型
- 音乐生成：为音乐模型提供紧凑且富有表现力的音频表示
替代项目
EnCodec、SoundStream、DAC (Descript Audio Codec)
上一篇：vits_chinese
下一篇：voicefixer_main
同类项目推荐
doc2audiobook
开源
把文档变成有声书，通勤路上用耳朵学习
Convert text documents to high fidelity audio(books).
lalalai
开源
调用 LALAL.AI API，快速实现人声分离与音频处理
Official examples for LALAL.AI API: stem separation, voice cleaning, voice cloning, ···
DeepMusicvStyle
开源
指定风格，一键生成对应旋律的 MIDI 音乐
Code repo for ICME 2020 paper "Style-Conditioned Music Generation". VAE model that a···
Thorsten-Voice
开源
免费离线德语TTS，告别许可烦恼，即拿即用
Thorsten-Voice: A free to use, offline working, high quality german TTS voice should···
ComfyUI-FL-Qwen3TTS
开源
在ComfyUI里一键把文字变语音，还能克隆音色
Qwen3-TTS text-to-speech nodes for ComfyUI with voice cloning, voice design, and fin···
sayit
开源
Mac 本地把文字变语音，不联网不上传
Private, local text-to-speech for Apple silicon Macs
DiffSinger
开源
用扩散模型精修歌声合成，让非自回归 TTS 音质更自然
PyTorch implementation of DiffSinger: Singing Voice Synthesis via Shallow Diffusion ···
nabu
开源
在安卓上玩转本地 TTS 和 LLM，一键生成有声书
A multi engine TTS & LLM edge computing playground with audio book features and more···
voice-mcp-agent
开源
克隆你的声音，让 AI Agent 开口说话
voice mcp ai agent to clone voices, synthesize speech and connect MCP agents to cust···