UnitSpeech

无需转录文本，用少量语音样本即可克隆你的声音

UnitSpeech 是一个基于扩散模型的语音合成与声音转换开源项目，官方实现了同名论文《UnitSpeech: Speaker-adaptive Speech Synthesis with Untranscribed Data》。它解决的核心问题是：在缺乏目标说话人转录文本的情况下，如何仅凭少量未标注语音样本，实现高质量、个性化的语音合成与声音转换。项目利用自监督语音单元（如 HuBERT 特征）作为中间表示，解耦内容与说话人信息，再通过扩散模型生成自然流畅的语音。核心能力包括：零样本/少样本声音克隆、跨语种声音转换、以及无需文本标注的适应性训练。代码基于 PyTorch 和 Jupyter Notebook 提供，包含完整的训练与推理流程，适合研究语音合成、声音克隆和扩散模型应用的开发者。目前项目处于早期阶段，星标数不高，但技术路线新颖，为低资源个性化语音合成提供了新的解决思路。