项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 82
核心亮点
- 首个聚焦‘不可能视频’的基准，填补物理常识与反事实推理评测空白
- 提供标准化数据集和评估脚本，支持视频生成与理解双任务，上手快
- 基于ICML 2025论文，学术权威性强，方法有理论支撑
不足之处
- 项目处于早期，星标仅81，社区生态和文档完善度待观察
- 数据集规模与多样性可能有限，难以覆盖全部不可能类型
适用场景
- 多模态大模型视频理解能力评测与对比
- 视频生成模型输出真实性与物理合理性校验
- 研究物理常识推理与反事实思维在AI中的应用
替代项目
VideoGLUE、EvalCrafter、VBench
同类项目推荐
speech-to-text-benchmark
开源
一套脚本横评各家语音识别，选型不再靠猜
speech to text benchmark framework
SIMURG
开源
流式生成中实时拦截重复、漂移和乱码，不让坏 token 见用户
Zero-leak online detection of LLM decoding corruption and Free Web Search for your A···
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
Multi-Modality-Arena
开源
上传图片，并排对比多模态大模型谁更聪明
Chatbot Arena meets multi-modality! Multi-Modality Arena allows you to benchmark vis···
trustmebro
开源
伪造工具输出，测出模型护栏会不会被骗
Bypass llm guardrails by confusing it with fabricated tool output.
guidellm
开源
给 LLM 推理服务做真实压测，选型调优有数可依
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
hallucination-index
开源
测出哪个AI最会胡说八道，选模型不再踩坑
Initiative to evaluate and rank the most popular LLMs across common task types based···
SelfAware
开源
测出模型不知道自己不知道什么，减少胡编乱造
Do Large Language Models Know What They Don’t Know?
merchantbench
开源
365天订单级仿真，测LLM智能体长期经营是否前后一致
MerchantBench is a 365-day, order-level benchmark for evaluating the long-term coher···