JavisDiT

一键生成音画同步的短视频,告别无声视频。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 33 🐛 待处理 2 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 387
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。

项目预览

JavisDiT 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队JavisVerse
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-generation,dit,joint-audio-video,joint-audio-video-diffusion-transformer,joint-audio-video-generation,sounding-video-generation,synchronized-video-audio-generation,video-generation
GitHub 星标★ 387
上线时间2025-03-07 00:00:00
代码更新2026-08-30
仓库体积137.0 MB
本站数据更新2026-11-07
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

JavisDiT 是一个面向音频-视频联合生成的扩散 Transformer 模型系列,由 ICLR 2026 论文官方实现。它解决的是传统视频生成中音频与画面割裂的问题,通过联合建模音频和视频的时空依赖,生成音画同步的短视频。核心能力包括:基于 DiT 架构的联合扩散模型,支持文本/音频条件生成,以及 JavisDiT 和 JavisDiT++ 两个版本。项目处于早期阶段,代码和模型正在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 387

核心亮点

  • 音画联合建模,从架构上保证声画同步,避免后期配音对不齐。
  • 基于 DiT 的扩散架构,生成质量有潜力,且易于扩展。
  • 官方实现,有 ICLR 论文背书,算法可靠性较高。

不足之处

  • 早期项目,代码和文档不完善,上手门槛高。
  • 仅支持音频-视频联合生成,不支持纯视频或纯音频任务。
  • 文档/社区待观察

适用场景

  • 短视频自动配音和配乐,提升创作效率。
  • 电影预告片或广告片的快速原型制作。
  • 辅助视障人士理解视频内容,生成音频描述。

替代项目

VideoPoet、Make-A-Video、CogVideo

上一篇:Matrix-Game

下一篇:Video-T1

同类项目推荐

timeline-studio 开源

AI 加持,让视频剪辑像打字一样简单

Timeline Studio - Video Editing with AI

★ 239 2026-08-09
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 6473 2026-08-10
Pulse-of-Motion 开源

让AI生成的视频动起来更符合物理规律

The Pulse of Motion: Measuring Physical Frame Rate from Visual Dynamics

★ 73 2026-08-09
ATAS 开源

多智能体围绕世界状态协作,让长视频时空不崩坏

Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation

★ 262 2026-10-20
VideoSubtitleRemover 开源

本地识别并擦除视频硬字幕与水印

Remove hard-coded subtitles and visible text from video, locally. Windows app with O···

★ 109 2026-10-24
VidForge 开源

输入商品素材,自动产出带货短视频

Open-source AI pipeline for short-form commerce videos: multimodal analysis, RAG scr···

★ 91 2026-10-02
text-leech-bot 开源

把文本列表批量变成视频,自动传到 Telegram

Help to upload videos of any list in text form

★ 90 2026-08-09
Ground-A-Video 开源

用一句话描述,让视频编辑像改图一样简单

Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Model···

★ 140 2026-08-09
FollowYourClick 开源

点击图片区域,输入短提示,即可生成局部动态视频。

[AAAI 2025] Follow-Your-Click: This repo is the official implementation of "Follow-Y···

★ 909 2026-08-09