voc2vec

让机器听懂笑声哭声,解锁非语言声音的语义

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 2 🐛 待处理 1 👀 关注 5
GitHub ↗
GitHub 星标 ★ 59
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可证,可自由使用,无付费版本。

项目预览

voc2vec 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队koudounasalkis
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-classification,foundation-models,icassp,non-verbal-vocalisation,open-source,pre-training
GitHub 星标★ 59
上线时间2024-09-11 00:00:00
代码更新2025-04-14
仓库体积28 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

voc2vec 是一个针对非语言发声(如笑声、哭泣、叹息等)的基础模型,论文发表于 ICASSP 2025。它解决的是传统语音模型主要处理语言内容、而忽略副语言声音语义的问题。核心能力包括:从原始音频中学习非语言发声的通用表征,可用于分类、检索、情感分析等下游任务;模型基于自监督预训练,能捕捉声音中的情感与社交信号。该仓库提供模型代码、预训练权重和推理示例,帮助研究者将非语言声音分析集成到更广泛的人机交互或医疗健康场景中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 59

核心亮点

  • 聚焦非语言发声这一空白领域,填补语音模型对副语言信号处理的缺失
  • 基于ICASSP 2025论文,学术背书强,方法有理论支撑
  • 提供预训练模型和代码,可直接用于下游任务微调

不足之处

  • GitHub星标仅58,社区活跃度和生态成熟度待观察
  • 文档/社区待观察

适用场景

  • 情感计算与人机交互中的笑声、叹息识别
  • 医疗健康领域的婴儿哭声或患者声音分析
  • 语音助手对非语言情绪信号的响应优化

替代项目

wav2vec 2.0、HuBERT、COLA (Contrastive Learning of Acoustic Representations)

上一篇:liquid-audio

下一篇:NeuroRVQ

同类项目推荐

FFTNet 开源

用 FFT 加速神经声码器,实现实时语音合成。

FFTNet: a Real-Time Speaker-Dependent Neural Vocoder

★ 64 2026-08-09
midi-model 开源

用 Transformer 自动生成 MIDI 音乐,输入风格,输出旋律。

Midi event transformer for symbolic music generation

★ 386 2026-08-09
tacotron 开源

用 TensorFlow 复现经典端到端语音合成,从文本直接生成语音

A TensorFlow Implementation of Tacotron: A Fully End-to-End Text-To-Speech Synthesis···

★ 1834 2026-08-09
blossom 开源

点点画画,即刻生成你的专属旋律

A lovely interactive music generator

★ 249 2026-08-09
sub-to-audio 开源

把字幕文件一键变成同步语音,自动配音不求人。

Subtitle to audio, generate audio from any subtitle file using Coqui-ai TTS and sync···

★ 120 2026-08-09
ng2-pdfjs-viewer 开源

在 Angular 里快速嵌入 PDF 查看器,支持表单和自定义

#1 Angular PDF viewer

★ 253 2026-08-09
Learn2Sing2.0 开源

让AI模仿你的声音唱歌,用扩散模型实现个性化歌声合成

Diffusion and Mutual Information-Based Target Speaker SVS by Learning from Singing T···

★ 181 2026-08-09
fish-speech 开源

上传几秒音频,克隆任意音色,生成自然逼真的语音。

SOTA Open Source TTS

★ 33636 2026-08-09