
WavTokenizer
每秒40个token,让音频语言建模又快又准
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1328
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Conda(可创建 conda 环境)
- Python 3.9(README 指定 python=3.9)
- 能访问 GitHub 与 HuggingFace 下载代码和模型权重
- 磁盘空间用于存放预训练 checkpoint(README 未给出具体大小)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 WavTokenizer 源码,后续依赖文件和配置文件都在仓库内,需先进入仓库目录再执行后续命令。
git clone https://github.com/jishengpeng/WavTokenizer.git cd WavTokenizer -
2创建 conda 环境
README 明确要求 Python 3.9,建议用独立环境避免依赖冲突;环境名按 README 使用 wavtokenizer。
conda create -n wavtokenizer python=3.9 -
3激活环境
激活刚创建的 wavtokenizer 环境,之后所有安装和运行命令都要在该环境下执行。
conda activate wavtokenizer -
4安装依赖
在仓库根目录根据 requirements.txt 安装 Python 依赖;若下载缓慢可自行配置国内 pip 镜像。
pip install -r requirements.txt -
5修改配置文件
README 的 Step2 说明需要修改配置文件,但节选未给出具体内容和参数项,请以仓库中实际配置文件为准。
-
6下载预训练权重
README 提到模型 checkpoint 发布在 HuggingFace 的 novateur 账号下,需按所选版本下载权重后再推理。
如何确认成功
README 未提供验证命令;确认 conda 环境已激活、依赖安装无报错,并能加载仓库配置文件即可。
常见问题
Q:没有安装 Conda 怎么办?
A:README 的安装方式基于 conda,可先安装 Miniconda 或 Anaconda,再按 conda create/activate 命令创建并激活环境。
Q:必须用 Python 3.9 吗?
A:README 给出的创建命令明确指定 python=3.9,建议照此执行以避免依赖不兼容。
Q:预训练模型在哪里下载?
A:README 提到 checkpoint 发布在 HuggingFace 的 novateur 账号下,例如 WavTokenizer-large-speech-75token 及 medium/large 集合。
Q:WavTokenizer 支持哪些音频类型?
A:README 说明可表示语音、音乐和通用音频,每秒仅需 40 个 token,重建质量与语义信息较强。
注意事项
- 本项目面向音频语言建模,可在极低码率(40 或 75 token/秒)下编码语音、音乐和通用音频。
- README 节选缺少 Step2 配置文件修改的具体内容,配置项需以仓库实际文件为准,切勿照搬猜测参数。
- 模型权重需另行从 HuggingFace 下载,README 未给出一键下载命令。
- 论文发表于 ICLR 2025,引用信息见 README 中的 BibTeX。
核心亮点
- 超低 token 率(40/75 tokens/s),大幅降低计算和存储成本
- 在极低码率下保持高保真音频重建和语义完整性
- 支持语音、音乐、通用音频多种类型,预训练模型开箱即用
不足之处
- 文档/社区待观察
- 对极高采样率或复杂声场场景可能仍需调优
适用场景
- 音频语言模型(如 GPT-4o)的输入前端
- 低带宽音频传输与存储
- 音乐和语音生成任务中的高效表征
替代项目
EnCodec、DAC、SoundStream
上一篇:merlin
下一篇:audio-webui
同类项目推荐
CycleGAN-VC3
开源
无需平行语料,一键转换声音风格
Voice Conversion by CycleGAN (语音克隆/语音转换):CycleGAN-VC3
mlp-singer
开源
用纯MLP快速合成韩语歌声,告别慢速自回归。
Official implementation of MLP Singer: Towards Rapid Parallel Korean Singing Voice S···
AdaSpeech
开源
用少量样本快速定制专属语音合成模型
AdaSpeech: Adaptive Text to Speech for Custom Voice
out-loud
开源
离线也能生成自然语音,跨平台免费使用
Free, open-source, 100% offline AI text-to-speech for macOS, Windows & Linux.
sayit
开源
Mac 本地把文字变语音,不联网不上传
Private, local text-to-speech for Apple silicon Macs
fish-audio-python
开源
几行代码接入 Fish Audio,快速实现文本转语音和声音克隆。
The official Python library for the Fish Audio API.
dsh-tts-bridge
开源
对话文字自动变本地朗读,解放眼睛
DSH 朗读桥:会话里的话自动交给 DeepSeek 网页端朗读,声音从你自己的电脑里出来
FCH-TTS
开源
六语种快速语音合成,实时交互不卡顿
A fast Text-to-Speech (TTS) model. Work well for English, Mandarin/Chinese, Japanese···
soprano-factory
开源
训练你的 2000 倍实时超快语音合成模型
Soprano-Factory: Train your own 2000x realtime text-to-speech model