DualCodec

低帧率音频编码，让语音生成又快又准

开源 🏷️完全免费 ✅ 目前可打开 音频音乐 🍴 复刻 9 🐛 待处理 3 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 72
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，提供在线演示页面，可免费体验，无付费版本。

项目预览

DualCodec 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队jiaqili3
官网地址https://dualcodec.github.io
GitHubhttps://github.com/jiaqili3/DualCodec
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，提供在线演示页面，可免费体验，无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型amphion,audio,audio-generation,codec,dualcodec,llm,low-latency,neural-audio-codec,speech,speech-synthesis,text-to-speech,tts
GitHub 星标★ 72
上线时间2025-01-03 00:00:00
代码更新2026-09-09
仓库体积10.5 MB
本站数据更新2026-11-08
维护状态维护中
收录时间2026-08-09
浏览次数5

项目介绍

DualCodec 是一个面向语音和音频生成的低帧率神经音频编解码器，发表于 Interspeech 2025。它主要解决传统音频编解码器在生成式 AI 场景中帧率过高、语义信息不足的问题，通过双路径设计（语义增强与声学重建）在极低帧率下保留关键语义特征，从而提升下游语音合成、音乐生成等任务的效率与质量。核心能力包括：极低帧率编码（显著降低自回归模型的计算量）、语义增强表示（提升生成内容的自然度和可控性）、以及支持多种音频生成任务（如 TTS、音乐生成）。项目基于 Amphion 框架，提供训练与推理代码，适合研究者和开发者集成到自己的生成管线中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 72

核心亮点

  • 极低帧率设计，大幅减少生成模型的计算开销
  • 语义增强机制，提升合成语音的自然度和表现力
  • 基于 Amphion 框架，易于集成到现有音频生成流程

不足之处

  • 文档/社区待观察
  • 依赖 Amphion 框架，独立使用门槛较高

适用场景

  • 语音合成（TTS）系统的前端编码
  • 音乐生成中的低延迟语义表示
  • 资源受限设备上的实时音频生成

替代项目

EnCodec、SoundStream、Descript Audio Codec (DAC)

上一篇：tts-demo

下一篇：qwen3-tts

同类项目推荐

murf-python-sdk 开源

一行代码，让 Python 应用开口说话

Python sdk for Murf text to speech API

★ 109 2026-08-09
AceForge 开源

在 Mac 上离线完成 AI 作曲、人声分离和语音合成

AceForge is a local-first AI music workstation for Apple/OSX based on Ace-Step, DeMu···

★ 94 2026-08-09
waveglow 开源

用流模型快速生成高质量语音波形，让 TTS 更流畅。

A PyTorch implementation of the WaveGlow: A Flow-based Generative Network for Speech···

★ 205 2026-08-09
tts 开源

一个网页工具，快速试听多个TTS服务的语音效果

A simple tool to demo text-to-speech using various services' voices. HTML5 and Vanil···

★ 115 2026-08-09
ComfyUI_FL-HeartMuLa 开源

在 ComfyUI 里用歌词直接生成多语言完整歌曲

FL HeartMuLa - Multilingual AI music generation nodes for ComfyUI. Generate full son···

★ 134 2026-10-02
libratory 开源

把自有 PDF 变成本地 M4B 有声书和双语跟读版

Your free book and audiobook laboratory. Turn the PDFs you own into chapter-marked M···

★ 140 2026-10-15
LEMAS-TTS 开源

一个模型克隆10种语言的说话人声音，几秒音频即可合成新语音。

LEMAS‑TTS is a multilingual zero‑shot text‑to‑speech system, supporting 10 langu···

★ 104 2026-08-09
Barkify 开源

自己训练 Bark 语音模型，摆脱官方限制

Barkify: an unoffical training implementation of Bark TTS by suno-ai

★ 131 2026-08-09