Impossible-Videos

用不可能视频，测出多模态模型的物理常识短板

Impossible-Videos 是 ICML 2025 论文的官方基准与代码库，专注于视频生成与理解中的‘不可能视频’挑战。这类视频包含物理上不可能或高度反直觉的事件，例如物体违反重力、时空扭曲或因果倒置，旨在测试和提升多模态大模型对视频内容真实性与逻辑性的感知能力。项目提供标准化的数据集、评估指标和基线模型，帮助研究者量化模型在识别异常、推理物理规律、检测编辑痕迹等方面的表现。核心能力包括：构建高难度视频样本库，覆盖多种不可能类型；提供自动化评估工具，支持生成与理解双任务；集成多模态模型接口，便于快速验证。该基准填补了现有视频理解评测在物理常识与反事实推理上的空白，推动模型从表面感知走向深层认知。

开源 free 视频生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 81

维护状态低维护

是否开源是

定价模式 free

项目数据

分类视频生成

开发团队showlab

所属国家

官网地址https://showlab.github.io/Impossible-Videos

GitHubhttps://github.com/showlab/Impossible-Videos

定价模式free

价格说明开源项目，提供在线演示页面，完全免费。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型benchmark,multimodal,video,video-generation,video-understanding

GitHub 星标★ 81

30天Star增速

HF 下载量

上线时间2025-02-14 00:00:00

最近更新2026-06-30 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

首个聚焦‘不可能视频’的基准，填补物理常识与反事实推理评测空白
提供标准化数据集和评估脚本，支持视频生成与理解双任务，上手快
基于ICML 2025论文，学术权威性强，方法有理论支撑

不足之处

项目处于早期，星标仅81，社区生态和文档完善度待观察
数据集规模与多样性可能有限，难以覆盖全部不可能类型

适用场景

多模态大模型视频理解能力评测与对比
视频生成模型输出真实性与物理合理性校验
研究物理常识推理与反事实思维在AI中的应用

替代项目

VideoGLUE、EvalCrafter、VBench

项目介绍

Impossible-Videos 是评测安全领域的开源项目，由 showlab 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 467 个项目，GitHub 星标数为 81。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-06-30。提供在线演示页面，完全免费。从国内网络环境看，可直接访问。

它主要面向的使用场景是：多模态大模型视频理解能力评测与对比。同类可对比的替代方案包括 VideoGLUE、EvalCrafter、VBench。

上一篇：common_metrics_on_video_quality

下一篇：content-debiased-fvd