WorldSonus

给视频和虚拟世界实时生成会跟着画面动的空间音效

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 12 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 235
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,定价信息待确认

项目预览

WorldSonus 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队NoizAI
定价模式🏷️完全免费
价格说明开源项目,定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
GitHub 星标★ 235
上线时间2026-09-29 00:00:00
代码更新2026-10-21
仓库体积52.9 MB
本站数据更新2026-10-26
维护状态活跃
收录时间2026-10-26
浏览次数1

项目介绍

WorldSonus 是一个用 Python 实现的实时交互式空间音频生成项目,面向视频与世界模型场景。它解决的核心问题是:传统视频配音或 3D 场景音效需要人工逐帧摆放声源、渲染混音,耗时且难以随画面变化实时调整;WorldSonus 尝试根据视频画面或世界模型输出的场景信息,自动生成具有方位感的空间音频,让声音随镜头运动、物体位置和交互操作动态变化。项目提供实时生成与交互控制能力,可用于给生成式视频补全环境声、为虚拟世界增加沉浸式音效,以及做音频与视觉联动的原型实验。作为早期项目,代码以 Python 为主,偏向研究演示与可扩展的实验框架,适合音频生成、多模态学习、游戏与虚拟制作方向的技术人员参考和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-26 · 当前星标 ★ 235

核心亮点

  • 面向视频与世界模型做实时空间音频生成,把声源方位与画面场景绑定,思路较新
  • 提供交互式控制,声音可随镜头或场景变化动态调整,而非一次性离线渲染
  • Python 实现,便于与视觉模型、生成式视频管线拼接做多模态实验

不足之处

  • 早期项目,星标约 235,生态与文档成熟度有限
  • 实时生成对算力有要求,实际延迟与音质表现需按硬件评估

适用场景

  • 为 AI 生成的视频自动补全带方位感的环境音与音效
  • 在虚拟世界或游戏原型中根据物体位置实时生成空间音频
  • 音频生成与多模态方向的研究演示和二次开发

替代项目

AudioLDM、MusicGen、Stable Audio

上一篇:cloudflare-edge-tts

下一篇:ViSAudio

同类项目推荐

HebTTS 开源

跳过元音预测,直接让AI用希伯来语开口说话

The official implementation of "A Language Modeling Approach to Diacritic-Free Hebre···

★ 112 2026-08-09
lue 开源

终端里读书还能听书,支持多种格式,语音自然如有声书。

Terminal eBook Reader with Audiobook-Quality Text-to-Speech — Supports EPUB, PDF, D···

★ 817 2026-08-09
CapCut-TTS 开源

免费把剪映 TTS 变成 API,快速接入你的应用

CapCut TTS Wrapper API - CapCut API free tts

★ 113 2026-08-09
lingopod 开源

粘贴网页链接,一键生成中英双语播客,边听边学。

️ AI双语播客生成工具 - 将网页内容转化为AI驱动的中英文音频学习体验 | AI-powered bili···

★ 56 2026-08-09
Awesome-Text-to-Speech 开源

一份清单,带你速览 TTS 最新工具和模型,少走弯路。

A curated list of the latest and most influential tools, models, and resources in th···

★ 212 2026-08-09
unspeech 开源

一个 API 接入所有 TTS 服务,自托管轻松切换

️ Your Text-to-Speech Services, All-in-One.

★ 106 2026-08-09
ZeroSpeech-TTS-without-T 开源

无需文本标注,直接从语音学习并合成语音,攻克低资源TTS难题。

A Pytorch implementation for the ZeroSpeech 2019 challenge.

★ 112 2026-08-09
vits 开源

文字进、语音出,又快又自然,配音效率翻倍

VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End T···

★ 7900 2026-08-09
MusicGenerator 开源

用 TensorFlow 玩转多种深度学习音乐生成模型

Experiment diverse Deep learning models for music generation with TensorFlow

★ 339 2026-08-09