WavTokenizer

每秒40个token,让音频语言建模又快又准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 115 🐛 待处理 71 👀 关注 23
GitHub ↗
GitHub 星标 ★ 1328
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

WavTokenizer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队jishengpeng
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型acoustic,audio-representation,codec,dac,encodec,gpt4o,music-representation-learning,semantic,soundstream,speech-language-model,speech-representation,text-to-speech
GitHub 星标★ 1328
上线时间2024-08-29 00:00:00
代码更新2025-03-02
仓库体积399 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

WavTokenizer 是一个先进的离散声学编解码器模型,专为音频语言建模设计,在 ICLR 2025 发表。它解决了传统音频编解码器在极低码率下保留语义和声学细节的难题,核心能力是以每秒仅 40 或 75 个 token 的超低帧率对音频进行高质量编码,同时保持卓越的重建质量和语义理解。该模型支持多种音频类型,包括语音、音乐和通用声音,并提供了预训练模型和易于使用的 Python 接口,方便研究人员和开发者快速集成到音频生成、理解等任务中。其创新点在于通过极简的 token 序列捕获丰富的音频信息,显著降低了音频语言模型的计算和存储开销,为高效音频 AI 应用提供了新基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1328

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 15 分钟 部署方式:本地安装 6 步

环境要求

  • 已安装 Conda(可创建 conda 环境)
  • Python 3.9(README 指定 python=3.9)
  • 能访问 GitHub 与 HuggingFace 下载代码和模型权重
  • 磁盘空间用于存放预训练 checkpoint(README 未给出具体大小)

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 WavTokenizer 源码,后续依赖文件和配置文件都在仓库内,需先进入仓库目录再执行后续命令。

    git clone https://github.com/jishengpeng/WavTokenizer.git
    cd WavTokenizer
  2. 2创建 conda 环境

    README 明确要求 Python 3.9,建议用独立环境避免依赖冲突;环境名按 README 使用 wavtokenizer。

    conda create -n wavtokenizer python=3.9
  3. 3激活环境

    激活刚创建的 wavtokenizer 环境,之后所有安装和运行命令都要在该环境下执行。

    conda activate wavtokenizer
  4. 4安装依赖

    在仓库根目录根据 requirements.txt 安装 Python 依赖;若下载缓慢可自行配置国内 pip 镜像。

    pip install -r requirements.txt
  5. 5修改配置文件

    README 的 Step2 说明需要修改配置文件,但节选未给出具体内容和参数项,请以仓库中实际配置文件为准。

  6. 6下载预训练权重

    README 提到模型 checkpoint 发布在 HuggingFace 的 novateur 账号下,需按所选版本下载权重后再推理。

如何确认成功

README 未提供验证命令;确认 conda 环境已激活、依赖安装无报错,并能加载仓库配置文件即可。

常见问题

Q:没有安装 Conda 怎么办?

A:README 的安装方式基于 conda,可先安装 Miniconda 或 Anaconda,再按 conda create/activate 命令创建并激活环境。

Q:必须用 Python 3.9 吗?

A:README 给出的创建命令明确指定 python=3.9,建议照此执行以避免依赖不兼容。

Q:预训练模型在哪里下载?

A:README 提到 checkpoint 发布在 HuggingFace 的 novateur 账号下,例如 WavTokenizer-large-speech-75token 及 medium/large 集合。

Q:WavTokenizer 支持哪些音频类型?

A:README 说明可表示语音、音乐和通用音频,每秒仅需 40 个 token,重建质量与语义信息较强。

注意事项

  • 本项目面向音频语言建模,可在极低码率(40 或 75 token/秒)下编码语音、音乐和通用音频。
  • README 节选缺少 Step2 配置文件修改的具体内容,配置项需以仓库实际文件为准,切勿照搬猜测参数。
  • 模型权重需另行从 HuggingFace 下载,README 未给出一键下载命令。
  • 论文发表于 ICLR 2025,引用信息见 README 中的 BibTeX。

核心亮点

  • 超低 token 率(40/75 tokens/s),大幅降低计算和存储成本
  • 在极低码率下保持高保真音频重建和语义完整性
  • 支持语音、音乐、通用音频多种类型,预训练模型开箱即用

不足之处

  • 文档/社区待观察
  • 对极高采样率或复杂声场场景可能仍需调优

适用场景

  • 音频语言模型(如 GPT-4o)的输入前端
  • 低带宽音频传输与存储
  • 音乐和语音生成任务中的高效表征

替代项目

EnCodec、DAC、SoundStream

上一篇:merlin

下一篇:audio-webui

同类项目推荐

CycleGAN-VC3 开源

无需平行语料,一键转换声音风格

Voice Conversion by CycleGAN (语音克隆/语音转换):CycleGAN-VC3

★ 157 2026-08-09
mlp-singer 开源

用纯MLP快速合成韩语歌声,告别慢速自回归。

Official implementation of MLP Singer: Towards Rapid Parallel Korean Singing Voice S···

★ 118 2026-08-09
AdaSpeech 开源

用少量样本快速定制专属语音合成模型

AdaSpeech: Adaptive Text to Speech for Custom Voice

★ 162 2026-08-09
out-loud 开源

离线也能生成自然语音,跨平台免费使用

Free, open-source, 100% offline AI text-to-speech for macOS, Windows & Linux.

★ 98 2026-08-09
sayit 开源

Mac 本地把文字变语音,不联网不上传

Private, local text-to-speech for Apple silicon Macs

★ 200 2026-10-01
fish-audio-python 开源

几行代码接入 Fish Audio,快速实现文本转语音和声音克隆。

The official Python library for the Fish Audio API.

★ 232 2026-08-09
dsh-tts-bridge 开源

对话文字自动变本地朗读,解放眼睛

DSH 朗读桥:会话里的话自动交给 DeepSeek 网页端朗读,声音从你自己的电脑里出来

★ 245 2026-11-08
FCH-TTS 开源

六语种快速语音合成,实时交互不卡顿

A fast Text-to-Speech (TTS) model. Work well for English, Mandarin/Chinese, Japanese···

★ 285 2026-08-09
soprano-factory 开源

训练你的 2000 倍实时超快语音合成模型

Soprano-Factory: Train your own 2000x realtime text-to-speech model

★ 262 2026-08-09