Cross-Speaker-Emotion-Transfer

让任意声音说出带指定情感的语音,跨说话人情感迁移。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 27 🐛 待处理 11 👀 关注 5
GitHub ↗
GitHub 星标 ★ 193
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

Cross-Speaker-Emotion-Transfer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队keonlee9420
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型conditional-layer-normalization,cross-speaker,deep-neural-networks,emotion-transfer,generative-model,global-style-tokens,neural-tts,non-ar,non-autoregressive,parallel-tacotron,pytorch,semi-supervised-learning,speech-synthesis,text-to-speech,tts
GitHub 星标★ 193
上线时间2021-10-16 00:00:00
代码更新2022-11-09
仓库体积103.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个基于PyTorch实现的跨说话人情感迁移语音合成项目,源自字节跳动的研究成果。它解决的核心问题是:在文本到语音(TTS)合成中,如何让一个说话人的声音表达出另一个说话人的情感风格。项目通过说话人条件层归一化(Speaker Condition Layer Normalization)和半监督训练技术,结合全局风格令牌(GST),实现了情感特征的解耦与迁移。核心能力包括:支持从参考音频中提取情感特征并迁移到目标说话人的语音中,同时保持目标说话人的音色和韵律;采用半监督学习,利用未标注情感标签的数据提升模型泛化能力。项目提供了完整的训练和推理代码,适合研究情感语音合成、人机交互等领域的开发者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 193

核心亮点

  • 基于字节跳动前沿研究,方法有学术支撑,实现完整。
  • 支持半监督训练,可利用无标签数据,降低数据标注成本。
  • 代码结构清晰,提供预训练模型和推理脚本,上手快。

不足之处

  • 文档/社区待观察
  • 依赖特定数据集,泛化到其他语言或场景需自行适配。

适用场景

  • 语音合成研究:探索情感表达与说话人音色解耦。
  • 有声内容制作:为虚拟角色或配音快速赋予不同情感。
  • 人机交互:让语音助手根据语境表达情感,提升体验。

替代项目

Emotional TTS (如EmoVoice)、Tacotron2 with GST、FastSpeech2 with emotion embedding

上一篇:VoxSherpa-TTS

下一篇:tortoise.cpp

同类项目推荐

joytan 开源

一键把文本变成带音频的Anki卡片和有声书

Creative Audio/Textbook Maker See our YouTube channel

★ 139 2026-08-09
DragonianVoice 开源

用 C++ 把 SVC/TTS 模型跑起来,性能拉满,部署无忧。

多个SVC/TTS的C++推理库

★ 1130 2026-08-09
party-mode 开源

上传音乐,d3.js 自动生成酷炫视觉特效

An experimental d3.js music visualizer from 2014. Continued as vizz.fm

★ 807 2026-08-09
KittenTTS 开源

纯 CPU 就能跑的轻量开源语音合成模型

Open-source State-of-the-art TTS model which runs on a CPU

★ 16829 2026-10-25
java-tts 开源

用 Java 轻松调用 Edge TTS,几行代码实现文本转语音

java-tts 文本转语音

★ 62 2026-08-09
Crystal 开源

用 C++ 打造统一多语言 TTS 引擎,SSML 接口即插即用

Crystal - C++ implementation of a unified framework for multilingual TTS synthesis e···

★ 230 2026-08-09
Neural-HMM 开源

用神经HMM替代注意力,实现稳定高质量的语音合成

Neural HMMs are all you need (for high-quality attention-free TTS)

★ 164 2026-08-09
kokoro-web 开源

浏览器里跑AI语音合成,离线免费还能定制声音

ML-powered speech synthesis directly in your browser

★ 180 2026-08-09