xcodec

让音频语言模型听懂语义，生成更准的语音和音乐

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 24 🐛 待处理 18 👀 关注 7
GitHub ↗
GitHub 星标 ★ 316
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

xcodec 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队zhenye234
GitHubhttps://github.com/zhenye234/xcodec
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型audio,audio-codec,codec,gpt,language-model,music,self-supervised-learning,semantic,sound,speech,speech-language-model,text-to-music,text-to-sound,text-to-speech,tokenizer,vall-e
GitHub 星标★ 316
上线时间2024-05-26 00:00:00
代码更新2025-10-12
仓库体积1.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

xcodec 是一个面向音频语言模型的语义编解码器，由香港科技大学等机构在 AAAI 2025 提出。它针对传统音频编解码器（如 EnCodec）在语义信息保留上的不足，通过自监督学习提取语义特征，并与声学特征结合，实现高保真且语义丰富的音频压缩。项目解决了音频语言模型（如 GPT 类模型）在生成语音和音乐时语义理解不准确、内容一致性差的问题。核心能力包括：语义与声学联合编码、支持语音和音乐的统一建模、以及高效的 token 化表示，可直接用于训练音频语言模型。代码基于 Python 实现，提供了模型训练和推理接口，适合研究语音合成、音乐生成和音频理解等任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 316

核心亮点

  • 在 AAAI 2025 发表，方法经过学术验证，语义保留能力优于传统编解码器
  • 统一支持语音和音乐，可应用于多类音频生成任务
  • 提供自监督语义提取，无需人工标注，便于扩展新语种

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 模型训练和推理资源消耗较高，可能不适合轻量部署

适用场景

  • 训练音频语言模型（如语音对话、音乐生成）
  • 高保真语音合成与歌声转换
  • 音频语义理解与检索任务

替代项目

EnCodec、SoundStream、HuBERT

上一篇：T5Gemma-TTS

下一篇：LLMVoX

同类项目推荐

coqui_tts_korea 开源

用 Coqui 快速搭建韩语语音合成，开箱即用

Korean TTS using coqui TTS (glowtts and multiband melgan) - 한국어 TTS

★ 67 2026-08-09
lalalai 开源

调用 LALAL.AI API，快速实现人声分离与音频处理

Official examples for LALAL.AI API: stem separation, voice cleaning, voice cloning, ···

★ 200 2026-08-09
AdaSpeech 开源

用几秒参考音频，快速克隆出你的专属AI音色

An implementation of Microsoft's "AdaSpeech: Adaptive Text to Speech for Custom Voic···

★ 98 2026-08-09
minutes 开源

把会议和语音笔记变成可搜索的AI记忆库，本地处理，隐私无忧。

Open-source, local-first Granola/Otter alternative that Claude Code, Codex, Cursor, ···

★ 1597 2026-08-13
SoCodec 开源

极低码率语音压缩，为语音语言模型提供高质量离散表示

Ultra-low-bitrate Speech Codec for Speech Language Modeling Applications

★ 92 2026-08-09
theDAW 开源

一个工具搞定编曲、打碟和视觉，还能用 AI 生成音乐

Full-featured DAW, DJ, and VJ app interoperable w/Ableton, Reaper, Resolume & more. ···

★ 236 2026-08-09
chime_tts 开源

给智能音箱的TTS播报加个前奏/尾音，通知更自然。

A custom Home Assistant integration to play combined audio files before and/or after···

★ 382 2026-10-01
Transformer-TTS 开源

用 Transformer 替代 RNN，快速训练语音合成模型

A Pytorch Implementation of "Neural Speech Synthesis with Transformer Network"

★ 695 2026-08-09
voice-builder 开源

拖拽式搭建自定义语音，快速生成 TTS 模型

An opensource text-to-speech (TTS) voice building tool

★ 688 2026-08-09