xcodec

让音频语言模型听懂语义，生成更准的语音和音乐

xcodec 是一个面向音频语言模型的语义编解码器，由香港科技大学等机构在 AAAI 2025 提出。它针对传统音频编解码器（如 EnCodec）在语义信息保留上的不足，通过自监督学习提取语义特征，并与声学特征结合，实现高保真且语义丰富的音频压缩。项目解决了音频语言模型（如 GPT 类模型）在生成语音和音乐时语义理解不准确、内容一致性差的问题。核心能力包括：语义与声学联合编码、支持语音和音乐的统一建模、以及高效的 token 化表示，可直接用于训练音频语言模型。代码基于 Python 实现，提供了模型训练和推理接口，适合研究语音合成、音乐生成和音频理解等任务。

开源 free 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 316

维护状态低维护

是否开源是

定价模式 free

项目数据

分类音频音乐

开发团队zhenye234

所属国家

官网地址

GitHubhttps://github.com/zhenye234/xcodec

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型audio,audio-codec,codec,gpt,language-model,music,self-supervised-learning,semantic,sound,speech,speech-language-model,text-to-music,text-to-sound,text-to-speech,tokenizer,vall-e

GitHub 星标★ 316

30天Star增速

HF 下载量

上线时间2024-05-26 00:00:00

最近更新2026-09-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

在 AAAI 2025 发表，方法经过学术验证，语义保留能力优于传统编解码器
统一支持语音和音乐，可应用于多类音频生成任务
提供自监督语义提取，无需人工标注，便于扩展新语种

不足之处

项目处于早期阶段，文档和社区支持待观察
模型训练和推理资源消耗较高，可能不适合轻量部署

适用场景

训练音频语言模型（如语音对话、音乐生成）
高保真语音合成与歌声转换
音频语义理解与检索任务

替代项目

EnCodec、SoundStream、HuBERT

项目介绍

xcodec 是音频音乐领域的开源项目，由 zhenye234 开发，2024 年首次发布。

它收录于音频音乐分类，该分类目前共有 738 个项目，GitHub 星标数为 316。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-17。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：训练音频语言模型（如语音对话、音乐生成）。同类可对比的替代方案包括 EnCodec、SoundStream、HuBERT。

上一篇：T5Gemma-TTS

下一篇：LLMVoX