FlashVSR

单步扩散做流式视频超分,接近实时出片

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 165 🐛 待处理 79 👀 关注 19
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1950
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码免费使用

项目预览

FlashVSR 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队OpenImagingLab
定价模式🏷️完全免费
价格说明开源项目,代码免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-models,video-restoration,video-super-resolution
GitHub 星标★ 1950
上线时间2025-10-14 00:00:00
代码更新2026-10-16
仓库体积52.5 MB
本站数据更新2026-10-29
维护状态较活跃
收录时间2026-10-29
浏览次数0

项目介绍

FlashVSR 是一个面向流式视频超分的单步扩散框架,论文已被 CVPR 2026 接收。它要解决的是扩散模型做视频超分时速度慢、难以实时处理连续视频流的问题。核心思路是把多步扩散压缩为一步生成,并引入局部约束稀疏注意力,让模型只关注与当前像素相关的邻近区域,降低计算量;同时设计了一个极小的条件解码器,进一步压缩推理开销。项目提供完整训练与推理代码,支持对视频逐帧流式处理,在保持扩散模型生成质量的同时把延迟压到接近实时水平。适合需要在线视频增强、直播画质提升或边缘设备部署超分能力的开发者研究和使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 1950

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 45 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3.11.13,建议用 conda 单独建环境
  • NVIDIA GPU:README 在 A100/A800 上验证,H200 可运行但加速有限,其余型号未知
  • 编译 Block-Sparse Attention 需预留充足内存,避免 OOM
  • 已安装 Git 与 Git LFS
  • 能访问 PyPI 与 GitHub 以拉取依赖和源码

安装与启动步骤

  1. 1创建 Python 环境

    用 conda 建 Python 3.11.13 的独立环境并激活,避免与系统包冲突。

    conda create -n flashvsr python=3.11.13
    conda activate flashvsr
  2. 2安装项目依赖

    在 FlashVSR 仓库根目录执行,先以可编辑模式装项目本体,再装 requirements。

    pip install -e .
    pip install -r requirements.txt
  3. 3编译稀疏注意力后端

    Block-Sparse Attention 是必需后端,建议在 FlashVSR 仓库外的独立目录编译安装。

    git clone https://github.com/mit-han-lab/Block-Sparse-Attention
    cd Block-Sparse-Attention
    pip install packaging
    pip install ninja
    python setup.py install
  4. 4安装 Git LFS

    模型权重等大文件由 Git LFS 管理,每台机器只需执行一次。

    git lfs install
  5. 5准备模型权重

    按 README 中的 Hugging Face 模型页链接获取 v1 或 v1.1 权重,并放到项目指定目录。

  6. 6运行推理

    按 README 的 Run Inference 小节执行推理脚本,建议使用 4× 超分设置以获得更好效果。

如何确认成功

conda 环境可正常激活,pip 依赖安装无报错,Block-Sparse Attention 编译安装成功即可视为环境就绪。

常见问题

Q:编译 Block-Sparse Attention 时内存不足怎么办?

A:该后端编译阶段内存占用较高,多个 ninja 并行任务会放大峰值。编译前关闭其他占内存进程,保证机器有充足可用内存即可,编译完成后运行时内存稳定。

Q:RTX 40/50 系或 H800 显卡能用吗?

A:README 说明目前只在 A100、A800 上验证正确且加速理想,H200 可运行但加速受限,其他 GPU 的兼容性与性能尚不明确,需自行测试。

Q:为什么不建议用其他放大倍数?

A:项目主要针对 4× 视频超分做了设计和优化,README 明确建议使用 4× 设置,效果与稳定性更好。

Q:可以用其他 Python 版本吗?

A:README 指定 Python 3.11.13,其他版本未做验证,建议严格按该版本创建环境以避免依赖冲突。

注意事项

  • README 节选的推理小节未给出完整命令,实际运行请以仓库 README 的 Run Inference 部分为准。
  • Block-Sparse Attention 建议克隆到 FlashVSR 仓库之外的干净目录再安装。
  • 模型权重通过 README 里提供的 Hugging Face 模型页获取,本教程不虚构下载直链。
  • 项目面向流式视频超分,实际推理对显存和延迟有要求,建议先在短片段上试跑。

核心亮点

  • 单步扩散替代多步采样,推理速度显著提升,适合流式场景
  • 局部约束稀疏注意力降低计算复杂度,兼顾画质与效率
  • 配套极简条件解码器,模型体积和显存占用更友好

不足之处

  • 依赖扩散模型生态,环境配置和权重准备门槛较高
  • 实时性能受硬件影响大,低端设备未必达到宣称速度
  • 社区规模仍在成长,教程和问题排查资料有限

适用场景

  • 直播或在线会议视频的实时画质增强
  • 短视频平台上传视频的批量超分处理
  • 边缘设备上的低延迟视频修复与放大

替代项目

Real-ESRGAN、BasicSR、VRT

上一篇:vrhino

下一篇:JoyAI-Video-Edit

同类项目推荐

fantasy-portrait 开源

让多角色肖像动起来,表情更自然

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmen···

★ 510 2026-08-09
kandinsky-6 开源

一句话生成带声音的视频,口型音效自动对上

Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

★ 339 2026-10-09
PersonaLive 开源

一张照片当主播,表情动作自然播

[CVPR 2026] PersonaLive! : Expressive Portrait Image Animation for Live Streaming

★ 4048 2026-08-09
awesome-seedance-2-prompts 开源

2000+精选提示词,让 Seedance 视频生成更专业

2000+ curated Seedance 2.0 video generation prompts — cinematic, anime, UGC, ads, m···

★ 2185 2026-08-09
heygen-cli 开源

在终端敲命令,自动生成 AI 数字人视频

Create AI videos from the terminal. Official CLI for the HeyGen video generation API···

★ 164 2026-08-09
HyDRA 开源

让视频模型记住过去,生成更连贯的未来

Out of Sight but Not Out of Mind: Hybrid Memory for Dynamic Video World Models

★ 287 2026-08-09
Open-Generative-AI 开源

一个平台玩转五百款模型,想用哪个选哪个

Unrestricted Open-source alternative to AI video platforms — Free AI image & video ···

★ 31731 2026-08-09
Causal-Forcing 开源

让扩散视频生成快如实时,交互体验不掉帧

[ICML 2026] Official codebase for "Causal Forcing: Autoregressive Diffusion Distilla···

★ 1014 2026-08-09
huobao-drama-ai 开源

一站式 AI 短剧工作台,从剧本到成片全自动

AI短剧创作平台 — 从剧本到成片,一站式AI短剧制作工作台。支持70+大模型(GLM5.1/DeepSee···

★ 108 2026-08-09