Step-Audio-EditX

用一句话编辑语音情感和风格,还能零样本合成新声音

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 80 🐛 待处理 39 👀 关注 8
GitHub ↗
GitHub 星标 ★ 996
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可证,可免费本地部署使用,无在线服务或付费版本。

项目预览

Step-Audio-EditX 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队stepfun-ai
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可证,可免费本地部署使用,无在线服务或付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-editing,cross-lingual,emotion-control,paralinguistics,reinforcement-learning,speaking-style,style-control,text-to-speech,tts,voice-cloning,zero-shot-tts
GitHub 星标★ 996
上线时间2025-10-29 00:00:00
代码更新2026-04-09
仓库体积9.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Step-Audio-EditX 是一个基于 3B 参数大语言模型和强化学习的音频编辑模型,专注于情感、说话风格和副语言特征的精细编辑,同时具备强大的零样本语音合成能力。它解决了传统音频编辑工具难以灵活控制情感表达和风格转换的问题,通过自然语言指令即可调整语音的情绪、语速、停顿等副语言特征,并支持跨语言场景。核心能力包括:情感编辑(如将中性语音转为开心或悲伤)、风格迁移(如模仿特定说话风格)、副语言控制(如笑声、叹息),以及零样本 TTS(无需训练即可合成新说话人的语音)。项目基于 Python 实现,技术栈涵盖强化学习、音频编辑和跨语言处理,目前处于早期阶段,但已获得近千星标,展示了其在个性化语音生成和音频后期制作领域的潜力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 996

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:模型权重 3 步

环境要求

  • Python + PyTorch
  • Hugging Face 账号/访问
  • GPU(推理 3B 模型)

安装与启动步骤

  1. 1获取模型

    从 Hugging Face(stepfun-ai/Step-Audio-EditX)下载权重。

  2. 2加载并编辑

    按示例加载模型,用自然语言指令编辑音频(情感/风格/副语言)。

  3. 3推理合成

    运行推理脚本做零样本语音合成或情感迁移。

如何确认成功

加载后能用文本指令把中性语音转为开心/悲伤等情感,或做风格迁移。

常见问题

Q:支持哪些编辑?

A:情感编辑、说话风格迁移、副语言特征调整与零样本语音合成。

注意事项

  • 基于 3B 参数与强化学习;详见 Hugging Face 仓库与 arXiv 技术报告。

核心亮点

  • 基于强化学习,能精准控制情感、风格和副语言特征,编辑效果自然
  • 3B 参数模型,在零样本 TTS 上表现强,新说话人合成无需微调
  • 支持跨语言,适合多语种音频内容创作和本地化

不足之处

  • 3B 参数模型对部署资源要求较高,个人开发者使用门槛不低
  • 文档/社区待观察,早期项目生态和示例尚不丰富

适用场景

  • 语音内容后期制作,如播客、有声书的情感润色
  • 游戏或虚拟角色语音风格定制,快速生成不同情绪台词
  • 多语种配音和本地化,用自然语言调整语音风格

替代项目

XTTS、Bark、CosyVoice

上一篇:Cognitive-Speech-TTS

下一篇:FireRedTTS

同类项目推荐

OpenVoice 开源

给一段录音,立刻复刻出同款声音,谁都能当配音员

Instant voice cloning by MIT and MyShell. Audio foundation model.

★ 38181 2026-08-09
DNN-HSMM 开源

用 DNN+HSMM 打造更自然的语音合成声学模型

pytorch implementation of DNN-HSMM for TTS

★ 73 2026-08-09
tts-azure-web 开源

用 Azure Key 一键部署,网页上直接生成自然语音

TTS Azure Web 是一个 Azure 文本转语音(TTS)网页应用,可以在本地或者云端使用你的 Azu···

★ 477 2026-08-09
nix-tts 开源

轻量级端到端TTS,模块蒸馏实现边缘设备实时语音合成

Nix-TTS: Lightweight and End-to-end Text-to-Speech via Module-wise Distillation

★ 262 2026-08-09
elevenlabs-js 开源

用 Node.js 快速接入 ElevenLabs 高质量 AI 语音合成

The official JavaScript (Node) library for the ElevenLabs API.

★ 450 2026-08-09
ncnn-android-piper 开源

手机本地跑神经语音合成,离线秒出中文英文语音

ncnn android piper the fast and local neural text-to-speech engine

★ 72 2026-08-09
HebTTS 开源

跳过元音预测,直接让AI用希伯来语开口说话

The official implementation of "A Language Modeling Approach to Diacritic-Free Hebre···

★ 113 2026-08-09