clip-gan

用AI把音乐自动变成视觉大片,零剪辑经验也能玩

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 10 👀 关注 2
GitHub ↗
GitHub 星标 ★ 57
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,GPL-3.0许可,可自由使用和修改,无付费版本。

项目预览

clip-gan 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队AlekseyKorshuk
定价模式🏷️完全免费
价格说明开源项目,GPL-3.0许可,可自由使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言Jupyter Notebook
技术栈/模型ai,biggan,clip,dall-e,generator,music-video,neural-network,neural-networks,stylegan,video,video-generation,video-generator
GitHub 星标★ 57
上线时间2021-05-25 00:00:00
代码更新2021-05-25
仓库体积2.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

clip-gan 是一个利用 CLIP 模型引导生成式对抗网络(GAN)自动创作音乐视频的开源实验项目。它解决了传统音乐视频制作成本高、创意受限的问题,通过将 CLIP 的语义理解能力与 BigGAN、DALL-E、StyleGAN 等生成模型结合,根据音乐节奏和歌词内容自动生成匹配的视觉画面。核心能力包括:支持多种生成模型后端、基于文本或音频特征驱动图像生成、自动拼接视频帧并同步音乐节奏。项目以 Jupyter Notebook 形式呈现,便于学习和二次开发,适合艺术家、开发者和研究者探索 AI 驱动的创意视频生成。尽管目前星标数较少,但其技术路线在 AI 生成内容领域具有前瞻性,为音乐可视化提供了低成本、高自由度的解决方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 57

核心亮点

  • 集成 BigGAN、DALL-E、StyleGAN 多种生成模型,灵活切换风格
  • 利用 CLIP 语义对齐,让画面内容与歌词/音乐主题高度相关
  • Notebook 形式降低上手门槛,方便逐段调试和二次创作

不足之处

  • 依赖多个大型预训练模型,显存和计算资源要求高
  • 生成视频的分辨率和连贯性可能有限,需后期处理
  • 文档/社区待观察

适用场景

  • 音乐人快速生成专辑封面或宣传视频素材
  • 视频创作者为播客或短视频自动配背景动画
  • AI 艺术爱好者探索生成艺术与音乐结合

替代项目

Wav2CLIP、CLIP-Mesh、DeepMusicVisualizer

上一篇:voxel-flow

下一篇:video_prediction

同类项目推荐

videocomposer 开源

像拼乐高一样组合条件,精准控制视频运动生成

Official repo for VideoComposer: Compositional Video Synthesis with Motion Controlla···

★ 954 2026-08-09
GeometryForcing 开源

给视频扩散装上3D骨架,生成时空一致的交互世界

[ICLR26] Official implementation of Geometry Forcing: Marrying Video Diffusion and 3···

★ 228 2026-08-09
vox-ai-motion-graphics-generator 开源

输入主题,自动生成 Vox 风格拼贴解说视频

Turn any topic into a finished Vox-style paper-collage explainer / motion graphics v···

★ 334 2026-08-09
huashu-art-motion 开源

用代码选风格加解说,让画作直接动起来出片

艺术动画skill:35种艺术风格、9种解说语法,用代码让画动起来。

★ 6626 2026-10-07
phenaki-pytorch 开源

用文本生成最长2分钟视频,基于Mask GIT的PyTorch实现

Implementation of Phenaki Video, which uses Mask GIT to produce text guided videos o···

★ 790 2026-08-09
ai-video-editor 开源

在浏览器里用 AI 技能直接剪视频,无需上传,保护隐私

Open-source, local-first video editor where creators and AI agents edit the same rea···

★ 956 2026-08-09
open-video 开源

本地跑 MiniMax H3,ComfyUI 里一句话生成视频

Open-source video generation — Ollama for MiniMax H3. Local director on ComfyUI.

★ 116 2026-09-12
novelvids 开源

从故事到分镜成片,一站式 AI 短剧创作台

从故事创作、角色资产管理、分镜设计,到 AI 图片与视频生成,打造完整的开源 AI 漫剧与短···

★ 364 2026-10-30
svd-mv 开源

用视频扩散模型生成多视角一致的 3D 视图

Unofficial Implementation of "Stable Video Diffusion Multi-View"

★ 79 2026-08-09