Neural-Codec-and-Speech-Language-Models

一页看懂语音编解码与语音大模型技术地图

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 音频音乐 🍴 复刻 15 👀 关注 17
GitHub ↗
GitHub 星标 ★ 247
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费资源列表

项目数据

分类音频音乐
开发团队LqNoob
GitHubhttps://github.com/LqNoob/Neural-Codec-and-Speech-Language-Models
定价模式🏷️完全免费
价格说明开源免费资源列表
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 247
上线时间2024-05-31 00:00:00
代码更新2026-10-21
仓库体积3.0 MB
本站数据更新2026-10-23
维护状态活跃
收录时间2026-10-23
浏览次数0

项目介绍

这是一个围绕神经语音编解码器（Neural Codec）与语音语言模型（Speech Language Model）的开源资源汇总仓库，用 Python 生态整理相关论文、模型与工具。它解决的是语音 AI 研究者与工程师在快速膨胀的领域中难以系统追踪技术脉络的问题：从 EnCodec、SoundStream 等离散语音 token 化方案，到基于 token 的 TTS 合成器，再到把语音当作语言建模的 SpeechLM 路线，仓库以清单形式给出分类索引。核心能力是提供结构化的模型/论文导航，帮助读者理解「语音 tokenizer → 语言模型 → 语音生成」这条技术链路，并作为选型与复现的入口。项目本身偏 awesome-list 性质，代码量有限，价值主要在信息聚合与领域地图，适合作为入门索引或技术调研起点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 247

核心亮点

  • 按神经编解码器、TTS 合成器、语音语言模型三条主线分类整理，脉络清晰
  • 覆盖 EnCodec、SoundStream 等主流离散 token 方案，便于横向对比选型
  • 以清单形式持续聚合论文与开源实现，适合作为技术调研的起点索引

不足之处

  • 本质是资源列表，缺少可运行代码与统一评测，无法直接复现或对比效果
  • 更新依赖人工维护，新模型跟进速度与条目完整性待观察

适用场景

  • 语音大模型方向的研究生快速建立领域技术地图
  • 算法工程师为 TTS/语音对话产品做编解码方案选型调研
  • 团队技术分享时整理语音 tokenizer 与 SpeechLM 的演进脉络

替代项目

awesome-speech-recognition、speechbrain

上一篇：earshot

下一篇：paradee

同类项目推荐

CloneTTS 开源

安卓离线音色克隆，全局听书不求人

A lightweight, offline Android Text-to-Speech (TTS) engine enabling seamless system-···

★ 854 2026-08-09
youtube-auto-dub 开源

一键将 YouTube 视频自动翻译并配音成多语言，保留原声背景音乐。

AI-powered YouTube video dubbing pipeline. Automatically transcribes (Whisper), tran···

★ 306 2026-08-10
optispeech 开源

轻量级 TTS，低资源跑出自然语音

A lightweight end-to-end text-to-speech model

★ 131 2026-08-09
BokeBox 开源

把文章视频一键变成你的专属播客节目

BokeBox: multi-source private AI podcast studio — videos/links/articles/notes → sp···

★ 103 2026-08-09
mandarin-tts 开源

用FastSpeech 2快速搭建中文语音合成，轻松生成普通话音频。

Chinese Mandarin tts text-to-speech 中文 (普通话) 语音 合成 , by fastspeech 2 , imp···

★ 477 2026-08-09
faster-qwen3-tts 开源

让 Qwen3-TTS 边生成边出声，实时对话不卡顿

Real-time text-to-speech with Qwen3-TTS

★ 1391 2026-10-01
DiffSinger 开源

用扩散模型精修歌声合成，让非自回归 TTS 音质更自然

PyTorch implementation of DiffSinger: Singing Voice Synthesis via Shallow Diffusion ···

★ 247 2026-08-09
GPT-SoVITS 开源

录一分钟声音，AI 就能用你的声音读任何文字

1 min voice data can also be used to train a good TTS model! (few shot voice cloning···

★ 63487 2026-08-09
dia 开源

一句话说出超逼真对话，情绪到位，不用反复重录

A TTS model capable of generating ultra-realistic dialogue in one pass.

★ 19405 2026-08-09