
sd-webui-text2video
在 Stable Diffusion WebUI 里直接输入文字,一键生成视频片段
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1321
使用教程
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 已安装并可正常运行的 AUTOMATIC1111 Stable Diffusion WebUI
- NVIDIA GPU,显存建议 6GB 以上(256x256 + 低显存 VAE)
- 如需长视频:12GB 显存可跑 24 帧 256x256,支持 Torch2 注意力优化可到 125 帧
- 无需任何账号登录,模型均为可下载权重
安装与启动步骤
-
1准备 Auto1111
该扩展运行在 AUTOMATIC1111 WebUI 之上,请先确保 WebUI 本身能正常启动出图。
-
2获取扩展代码
把扩展放进 WebUI 的 extensions 目录(README 未给出具体命令,此处按扩展常规方式推断)。
git clone https://github.com/kabachuha/sd-webui-text2video extensions/sd-webui-text2video -
3重启 WebUI
重启 WebUI 让扩展被加载,首次运行会自行下载所需模型权重,无需登录。
-
4调整显存设置
显存有限时选择 256x256 分辨率并启用低显存 VAE;4GB 显存可尝试 192x192。
-
5生成视频
在界面输入提示词(README 示例:best quality, anime girl dancing),生成短视频片段。
-
6接入自训练模型
用 ExponentialML/Text-To-Video-Finetuning 的转换脚本,把 Diffusers 格式模型转回原始权重格式后使用。
如何确认成功
重启 WebUI 后能加载扩展并进入其 text2video 相关页签,即视为安装成功。
常见问题
Q:需要登录或申请模型权限吗?
A:不需要。README 说明该扩展只用 Auto1111 WebUI 已有的依赖和可下载的模型权重,全程无需任何登录。
Q:显存不够怎么办?
A:README 指出 6GB 显存配低显存 VAE 可跑 256x256,也有用户在 4GB 显存下跑通 192x192,可先降低分辨率。
Q:能生成多长的视频?
A:24 帧 256x256 可放进 12GB 的 RTX 2080 Ti;显卡支持 Torch2 注意力优化时可做到 125 帧(8 秒),250 帧(16 秒)约需 20GB。
Q:可以用自己微调的模型吗?
A:可以。借助 ExponentialML 的 Text-To-Video-Finetuning 仓库微调,再用其 PR 中的脚本把 Diffusers 格式转成原始权重格式即可在本扩展使用。
注意事项
- README 节选未提供安装命令、参数或路径,步骤中的克隆路径按 Auto1111 扩展惯例推断,请以官方仓库说明为准。
- 项目维护状态曾多次变更(2023-11-21 起先后停止维护、由 Deforum-art 维护,后由原作者恢复维护),使用前请确认仓库当前状态。
- 显存需求与分辨率、帧数强相关,长视频会显著增加显存占用。
- 该扩展复用 WebUI 的 Gradio 界面与底层依赖,因此必须先有可用的 Auto1111 环境。
核心亮点
- 深度集成 Auto1111 WebUI,无需额外安装复杂依赖,上手门槛低
- 支持 ModelScope 和 VideoCrafter 两大主流文本生成视频模型,选择灵活
- 复用 WebUI 的 Gradio 界面,参数调整和视频预览体验流畅
不足之处
- 生成视频长度和分辨率受限于模型,通常较短且清晰度有限
- 文档/社区待观察
适用场景
- 在 Stable Diffusion 工作流中快速生成概念视频或动态预览
- 用于短视频创作、广告素材的快速原型设计
- 作为 AI 视频生成教学和实验的平台
替代项目
Deforum Stable Diffusion Extension、Text2Video-Zero、AnimateDiff
上一篇:swd
下一篇:ebsynth_utility
同类项目推荐
LivePortrait
开源
一张照片传上去,人就能开口说话
Bring portraits to life!
open-director
开源
一句话生成完整视频,AI 导演全自动,还能批量生产短视频。
开源 AI 视频工作室 — 从一句话到成片。支持创意模式(AI 导演全流程自动生成)和批量模式···
VidToMe
开源
上传视频,输入文字,零训练直接改视频内容
Official Pytorch Implementation for "VidToMe: Video Token Merging for Zero-Shot Vide···
HunyuanWorld-Voyager
开源
上传视频,实时生成可交互 3D 场景
Voyager is an interactive RGBD video generation model conditioned on camera input, a···
velorn
开源
在真实时间线上直接调用 AI 生成能力,让视频编辑更智能。
AI-native video editing built around real creative timelines, generative workflows, ···
awesome-video-generation
开源
一页看尽视频生成前沿,找论文不迷路
A collection of awesome video generation studies.
video-shotcraft
开源
一句话吩咐 AI,电影级产品视频自动剪
AI video skill for Claude Code & Codex — cinematic, editable product promos with Re···
JavisDiT
开源
一键生成音画同步的短视频,告别无声视频。
[ICLR 2026] Official implementation of JavisDiT and JavisDiT++ series.
liquid-shape-distortions
开源
在浏览器中实时生成流动迷幻的液体扭曲动画。
Create psychedelic animations in real-time in the browser. Webgl shader using liqui···