项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 141
核心亮点
- 首个系统评估文生图模型推理能力与偏见的开源工具，填补空白
- 提供细粒度任务分解（如空间、计数、属性），可精准定位模型弱点
- 基于 ICCV 2023 论文，方法论严谨，评估指标有学术背书
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 依赖特定数据集和模型接口，扩展新模型需一定适配成本
适用场景
- 对比不同文生图模型（如 DALL-E、Stable Diffusion）的推理能力
- 在模型迭代中检测社会偏见，确保生成内容公平性
- 学术研究：复现论文实验或扩展新的评估维度
替代项目
T2I-CompBench、HEIM (Holistic Evaluation of Text-to-Image Models)、Winoground
上一篇：WatermarkDM
下一篇：SafeGen_CCS2024
同类项目推荐
Apple-PI
开源
用视频生成检验AI对物理定律的理解，推动世界模型落地
[NeurIPS 2026] Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physi···
www-project-machine-learning-sec···
开源
给机器学习系统做安全体检，照着清单防十大风险。
OWASP Machine Learning Security Top 10 Project
ClawBench
开源
测测你的浏览器AI智能体，日常任务完成得怎么样
Open-source benchmark for browser AI agents on daily tasks.
DEFAME
开源
自动核查文本和图片，快速识别虚假信息
Fact-checking system for textual and visual inputs.
AISafetyHot-Hub
开源
每天一份 AI 安全论文清单，md/bib/json 直接喂给 Agent
Safety News & Research Monitor. https://aisafetyhot.com
claw-swe-bench
开源
统一接口跑 SWE-bench，横向比出哪个 agent 框架更能修 bug
Unified adapter framework for evaluating agent harnesses (claws) on SWE-bench
ablation
开源
用 LLM 智能体自动读汇编、追调用链，加速二进制逆向
Ablation is an AI-assisted reverse engineering (AIARE) framework
LLM-Agent-Benchmark-List
开源
一站式查找 LLM 智能体评估基准，省去全网搜索时间
A banchmark list for evaluation of large language models.
evals
开源
配置驱动的 Agent 评测，批量跑完直接看结果
Fast, robust, configurable agent evals