Genjustsu-Open-Source-Workflow

分割加深度再生成,视频换人换物可控可预览

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 视频生成 🍴 复刻 292 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1204
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

Genjustsu-Open-Source-Workflow 项目界面预览图
图片来源:项目官网

项目数据

分类视频生成
开发团队sirioberati
官网地址https://tein.ai
定价模式🏷️定价信息待确认
价格说明开源工作流,定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 1204
上线时间2026-10-06 00:00:00
代码更新2026-10-08
仓库体积12.0 MB
本站数据更新2026-10-26
维护状态较活跃
收录时间2026-10-26
浏览次数0

项目介绍

Genjustsu-Open-Source-Workflow 是 TEIN 开源的 AI 视频角色与物体替换工作流,用 Python 实现。它把视频替换拆成可审查的多个环节:先用深度图估计空间结构,用 SAM 做分割得到掩码,再结合人脸网格与音频处理准备输入,最后调用 Seedance 生成替换内容。项目自带本地 Web UI,可上传素材、逐帧检查掩码、预览生成结果,并导出保留原始音轨的视频。相比直接端到端生成,它强调中间结果可见可改,降低替换错位和音画不同步的风险,适合需要精细控制人物或物体替换的创作者与研究者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-26 · 当前星标 ★ 1204

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • Python 3.12+(开发环境使用 3.14)
  • Rubber Band CLI 命令行工具
  • cloudflared;如果已有公网 HTTPS webhook 接收端,可以不安装
  • 自己的 Enhancor API Key 和 Replicate API Token,并确保对应账号已开通相关服务
  • macOS 或 Linux;原生 Windows 需使用 WSL2

安装与启动步骤

  1. 1安装系统依赖

    安装 Rubber Band 命令行;Linux 或 WSL 改用 apt 命令,并按 README 安装 cloudflared。

    brew install rubberband cloudflared
  2. 2Linux 安装依赖

    Ubuntu、Debian 或 WSL 用这条命令;之后需自行安装 cloudflared,除非已有 webhook。

    sudo apt install rubberband-cli python3-venv
  3. 3运行安装脚本

    在项目目录执行,会创建隔离的 .venv、安装 requirements.txt 并生成空白 .env。

    bash setup.sh
  4. 4启用人脸网格模式

    安装 Python 3.12 后运行脚本,再用 doctor 检查三种模式是否可用。

    brew install python@3.12
    bash setup-face-mesh.sh
    .venv/bin/python doctor.py --mesh
  5. 5填写密钥

    在 .env 中填入自己的 ENHANCOR_API_KEY 与 REPLICATE_API_TOKEN,不要覆盖已有内容。

  6. 6启动应用

    启动本地 UI 和回调隧道;端口被占用时用 PORT=8771 bash start.command。

    ./start.command
  7. 7打开界面并自检

    浏览器访问 http://127.0.0.1:8770,另开终端运行严格就绪检查。

    .venv/bin/python doctor.py --require-keys
  8. 8执行替换流程

    上传 MP4/MOV、检查整段掩码与预处理视频、批准掩码、提供角色参考并先生成草稿,满意后再点 1080p 批准。

关键配置

配置项必填说明示例
ENHANCOR_API_KEY是调用 Enhancor 上 Seedance 生成服务的密钥your-enhancor-api-key
REPLICATE_API_TOKEN是Replicate 平台访问令牌r8_xxxxxxxxxxxxxxxx
HF_TOKEN否仅在改用 Hugging Face 深度方案时需要hf_xxxxxxxxxxxxxxxx
ENHANCOR_WEBHOOK_URL否自定义回调地址;不填则启动时自动建立临时隧道https://your-domain.com/webhook
PORT否覆盖默认 UI 端口 87708771

如何确认成功

浏览器打开 http://127.0.0.1:8770 能看到界面和示例素材,且 doctor.py --require-keys 通过。

常见问题

Q:8770 端口被占用怎么办?

A:用 PORT=8771 bash start.command 启动,然后访问 http://127.0.0.1:8771。

Q:Windows 可以直接运行吗?

A:原生 Windows 请使用 WSL2,再按 Ubuntu 方式安装依赖;macOS 与 Linux 有自带启动脚本。

Q:需要显卡或下载模型权重吗?

A:默认托管方案不需要本地模型权重和 GPU,只要求本机装好 Python 包和 Rubber Band 可执行文件。

Q:没有密钥能先启动吗?

A:可以,UI 能正常打开,但生成会等待密钥;填好 .env 后重启应用即可。

Q:生成结果回调不到怎么办?

A:Enhancor 需要 webhook,launch.py 会通过 cloudflared 提供一个临时回调地址,也可自行设置 ENHANCOR_WEBHOOK_URL,并保持应用与隧道一直运行。

注意事项

  • 启动脚本会创建一个仅用于接收回调的临时隧道,UI 和素材始终留在本机,请保持其与主程序同时运行。
  • .env 由安装脚本创建,重复安装时不会覆盖,密钥请自行保管,不要提交到仓库。
  • 草稿与 1080p 高清结果是分开的两份产物,最终预览与导出都会保留原始完整音轨。
  • 按 README 建议,先完成设置与本地测试,不要直接提交付费生成任务。

核心亮点

  • 把深度图、SAM 分割、人脸网格拆成独立步骤,掩码可逐帧人工复核,替换边界更可控
  • 内置本地 Web UI,覆盖素材准备、掩码检查、生成预览到带原音轨导出,流程闭环
  • 保留原始音频并单独处理音频环节,减少替换后音画不同步问题

不足之处

  • 依赖 Seedance 等外部生成服务,离线或未配置密钥时核心生成环节不可用
  • 深度估计、SAM 分割、人脸网格多模型串联,显存与推理耗时门槛较高
  • 项目处于成长阶段,文档与社区案例相对有限,复杂镜头需自行调参

适用场景

  • 短视频创作者替换视频中的人物形象并保留原声
  • 影视后期预演中快速替换角色或道具做效果验证
  • 研究者对比分割、深度与生成模型组合对视频编辑质量的影响

替代项目

ComfyUI、Roop、FaceFusion

上一篇:Lumos-Custom

下一篇:Looking-Ahead

同类项目推荐

ViMax 开源

导演编剧制片全包圆,你说想法它出片

"ViMax: Agentic Video Generation (Director, Screenwriter, Producer, and Video Genera···

★ 12750 2026-08-09
VideoTetris 开源

把复杂文字提示拆解组合,生成多对象连贯视频

[NeurIPS 2024] VideoTetris: Towards Compositional Text-To-Video Generation

★ 237 2026-08-09
Video-T1 开源

给视频生成加推理链,不重训练也能提升动态质量

[ICCV 2025] Video-T1: Test-Time Scaling for Video Generation

★ 319 2026-08-09
Gen-L-Video 开源

用多文本拼接生成长视频,时间协同去噪无缝衔接

The official implementation for "Gen-L-Video: Multi-Text to Long Video Generation vi···

★ 307 2026-08-09
AnimateLCM 开源

无视频数据也能快速生成个性化风格视频

[SIGGRAPH ASIA 2024 TCS] AnimateLCM: Computation-Efficient Personalized Style Video ···

★ 656 2026-08-09
CueRecord 开源

Mac 上录屏+提词+AI 剪呼吸,一站式搞定口播视频

Native macOS screen recorder with teleprompter, camera overlay, system audio capture···

★ 65 2026-08-09
Mojito 开源

让视频生成听你指挥,精确控制物体运动轨迹和强度

Official repo for the paper "Mojito: Motion Trajectory and Intensity Control for Vid···

★ 62 2026-08-09
LTX-2 开源

官方工具包,本地跑通音视频生成还能LoRA微调

Official Python inference and LoRA trainer package for the LTX-2 audio–video genera···

★ 9869 2026-10-20
awesome-ai-video-prompts 开源

一站式获取AI视频提示词模板与电影级技巧,快速提升生成质量。

A curated collection of AI video prompting resources, featuring official guides, pro···

★ 85 2026-08-09