MOSS-Audio-Tokenizer

把音频变成 token,让大模型能听会说

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 20 🐛 待处理 7 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 265
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和部署。

项目预览

MOSS-Audio-Tokenizer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队OpenMOSS
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio,audio-codec,audio-tokenizer,music,neural-codec,speech,speech-representation,streaming,tokenizer,tts,unified
GitHub 星标★ 265
上线时间2026-02-03 00:00:00
代码更新2026-06-16
仓库体积4.3 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

MOSS-Audio-Tokenizer 是一个基于因果 Transformer 架构(CAT)的音频分词器,旨在将连续音频信号转换为离散 token,为音频语言模型提供统一接口。它在大规模 300 万小时多样化音频数据上训练,支持流式处理和可变比特率,在重建质量上达到当前最优水平,并在生成和理解任务中表现强劲。该项目解决了传统音频分词器在流式场景下效率低、比特率固定、以及无法兼顾生成与理解任务的问题,为下一代原生音频语言模型提供了基础组件。核心能力包括:因果编码实现实时流式处理、动态比特率适配不同应用需求、以及统一的音频表示学习。目前项目处于早期阶段,代码和模型已开源,适合研究者探索音频 tokenization 的前沿方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 265

核心亮点

  • 基于 300 万小时音频训练,数据规模大,表示学习充分
  • 支持流式处理,适合实时交互场景
  • 可变比特率设计,灵活适配不同任务需求

不足之处

  • 项目早期,文档和社区生态待观察
  • 模型较大,推理资源需求可能较高

适用场景

  • 音频语言模型预训练
  • 实时语音交互系统
  • 音乐生成与理解

替代项目

EnCodec、SoundStream、DAC

上一篇:tts-azure-web

下一篇:ebook2audiobookpiper-tts

同类项目推荐

Neural-HMM 开源

用神经HMM替代注意力,实现稳定高质量的语音合成

Neural HMMs are all you need (for high-quality attention-free TTS)

★ 164 2026-08-09
elevenlabs_tts 开源

给 Home Assistant 接入 ElevenLabs 逼真 AI 语音

Custom TTS Integration using ElevenLabs API

★ 97 2026-08-09
ComfyUI-Maya1_TTS 开源

在 ComfyUI 里拖拽节点,生成带情感的语音

A ComfyUI node for Maya1, a 3B-parameter speech model built for expressive voice gen···

★ 65 2026-08-09
dctts-pytorch 开源

用卷积网络快速训练你的中文语音合成模型

The pytorch implementation of DC-TTS

★ 76 2026-08-09
kokoro-web 开源

浏览器里跑AI语音合成,离线免费还能定制声音

ML-powered speech synthesis directly in your browser

★ 180 2026-08-09
dia2 开源

让 AI 对话实时开口,边生成边播放不卡顿

TTS model capable of streaming conversational audio in realtime.

★ 1186 2026-08-09
Kokoros 开源

用 Rust 实现极速实时高质量语音合成

Kokoro in Rust. https://huggingface.co/hexgrad/Kokoro-82M Insanely fast, realtime TT···

★ 835 2026-08-09
supertonic 开源

离线秒级生成多语言语音,隐私安全不卡顿

Lightning-Fast, On-Device, Multilingual TTS — running natively via ONNX.

★ 13754 2026-09-10
HebTTS 开源

跳过元音预测,直接让AI用希伯来语开口说话

The official implementation of "A Language Modeling Approach to Diacritic-Free Hebre···

★ 113 2026-08-09