项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 163
核心亮点
- 提出离散对比扩散新方法，有效对齐音乐与图像语义
- 提供完整训练推理代码及预训练权重，易于复现
- 支持双向生成（图像→音乐，音乐→图像），应用灵活
不足之处
- 文档/社区待观察
- 依赖特定数据集，泛化能力待验证
适用场景
- 艺术家根据视觉作品自动生成配乐
- 音乐可视化，为音频生成封面或MV画面
- 跨模态检索与创意灵感辅助
替代项目
DiffusionMUSIC、CLIP-based music generation、MuseNet
下一篇：hum2song
同类项目推荐
ismir2019tutorial
开源
跟着教程用GAN生成音乐，从理论到案例一站学会
Website for tutorial "Generating Music with GANs: An Overview and Case Studies"
WorldSonus
开源
给视频和虚拟世界实时生成会跟着画面动的空间音效
Real-time, interactive spatial audio generation for videos and world models.
MidiTok
开源
把乐谱变成 AI 的口粮，喂饱它就能源源不断写歌
MIDI / symbolic music tokenizers for Deep Learning models
Avocodo-pytorch
开源
用 GAN 生成无伪影语音，提升 TTS 音质
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
dl-for-emo-tts
开源
照着跑一遍，快速上手情感语音合成实验
:computer: :robot: A summary on our attempts at using Deep Learning approaches for E···
VitsServer
开源
把 VITS 模型秒变高速 TTS 服务，一键部署低延迟合成
VITS ONNX TTS server designed for fast inference
youtube-auto-dub
开源
本地免费给YouTube视频配音，克隆原声换语言，自动同步字幕
Local-first, open-source YouTube dubbing: clones the original voice into another lan···
FastPitchFormant
开源
分解音高与音色，让语音合成控制更精细
PyTorch Implementation of NCSOFT's FastPitchFormant: Source-filter based Decomposed ···
AudioGPT
开源
一句话搞定音频理解与生成，还能驱动数字人说话
AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head