SEINE

用文本或图像生成连贯长视频,还能让视频间无缝过渡

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 62 🐛 待处理 24 👀 关注 21
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 966
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,需自行部署使用。

项目预览

SEINE 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队Vchitect
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-model,image-to-video,stable-diffusion,video-generation
GitHub 星标★ 966
上线时间2023-09-22 00:00:00
代码更新2024-11-13
仓库体积51.8 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

SEINE 是一个基于扩散模型的视频生成工具,专注于短片段到长视频的生成,以及视频之间的平滑过渡。它解决了现有视频生成模型难以生成连贯长视频和实现视频间自然转场的问题。核心能力包括:利用 Stable Diffusion 作为基础,通过文本或图像引导生成视频;支持视频过渡(Transition),即从一段视频平滑过渡到另一段视频;支持视频预测(Prediction),即根据给定的起始帧预测后续视频内容。该项目由南洋理工大学等机构开发,发表于 ICLR 2024,提供了完整的训练和推理代码,并支持多种视频生成任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 966

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:本地 (Py/CUDA) 4 步

环境要求

  • Linux + NVIDIA GPU + CUDA
  • Conda
  • ffmpeg

安装与启动步骤

  1. 1建 conda 环境

    官方锁定 Python 3.9.16,版本不符容易出现编译问题。

    conda create -n seine python==3.9.16
    conda activate seine
  2. 2装依赖

    依赖列表在 requirement.txt,含 torch 与视频编解码相关包。

    pip install -r requirement.txt
  3. 3准备权重

    按 README 说明下载预训练权重并放到指定目录。

  4. 4跑示例采样

    仓库提供带 mask 的采样脚本,可直接验证环境是否通。

    python sample_scripts/with_mask_sample.py --config configs/sample_transition.yaml

如何确认成功

输出目录生成 mp4 视频文件,帧数与配置一致,画面无明显噪点崩坏。

常见问题

Q:显存不足怎么办?

A:降低分辨率与帧数,或换更小的 config 先跑通。

注意事项

  • 采样耗时与显存占用较高,建议先用最短帧数试跑。
  • 不同 config 对应不同任务(文生视频 / 过渡 / 长视频),改 --config 即可切换。

核心亮点

  • 支持视频过渡和预测两种模式,功能明确
  • 基于 Stable Diffusion,可利用预训练权重,降低训练成本
  • 提供完整代码和预训练模型,易于复现

不足之处

  • 文档/社区待观察
  • 视频生成速度可能较慢,依赖扩散模型迭代采样

适用场景

  • 创意视频制作,如根据文本生成短视频片段
  • 视频编辑,实现两个视频片段之间的自然过渡
  • 视频预测,用于生成视频的后续帧,辅助动画或特效制作

替代项目

VideoCrafter、ModelScope Text-to-Video、AnimateDiff

上一篇:PIA

下一篇:DiffuEraser

同类项目推荐

ConsisID 开源

输入文本和一张人脸,生成身份一致的视频。

[CVPR 2025 Highlight] Identity-Preserving Text-to-Video Generation by Frequency Deco···

★ 864 2026-08-09
erduo-broll-loop-engineering 开源

给字幕自动配 B-roll 镜头,剪辑少翻素材库

SRT 驱动的双后端 B-roll Agent Skill:自动路由 HyperFrames / Remotion,集成 152 张 Sh···

★ 243 2026-11-05
PVDM 开源

在潜空间玩转扩散模型,高效生成高质量视频

[CVPR'23] Video Probabilistic Diffusion Models in Projected Latent Space

★ 323 2026-08-09
Veyra-NRVideo 开源

低帧率游戏画面实时插帧超分,直接变高刷高清

Bring PS5 GTA6 to 120FPS with DLSS 5. An advanced Windows video player and capture e···

★ 1018 2026-10-06
Video-T1 开源

给视频生成加推理链,不重训练也能提升动态质量

[ICCV 2025] Video-T1: Test-Time Scaling for Video Generation

★ 319 2026-08-09
ai-video-generator-claude 开源

用 Claude 技能一键生成爆款视频提示词,快速产出高质量 AI 视频。

10 Claude skills that generate studio-quality AI video prompts for Seedance 2.0 on H···

★ 459 2026-08-09
LivePortrait 开源

一张照片传上去,人就能开口说话

Bring portraits to life!

★ 19424 2026-08-09