T2I-CompBench

测出文生图模型到底懂不懂组合逻辑

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 24 🐛 待处理 23 👀 关注 3
GitHub ↗
GitHub 星标 ★ 348
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源基准测试工具,MIT许可证,完全免费,无付费版本。

项目预览

T2I-CompBench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队Karine-Huang
定价模式🏷️完全免费
价格说明开源基准测试工具,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,compositionality,dataset,text-to-image
GitHub 星标★ 348
上线时间2023-07-09 00:00:00
代码更新2026-09-04
仓库体积79.3 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数2

项目介绍

T2I-CompBench 是一个用于评估文本到图像生成模型组合能力的基准测试框架,由 NeurIPS 2023 和 TPAMI 论文提出。它解决了现有评估指标无法全面衡量模型在组合生成(如属性绑定、关系、复杂场景)上表现的问题。核心能力包括:提供大规模、细粒度的组合提示词数据集,覆盖属性绑定、对象关系、复杂场景等维度;实现多种自动化评估指标(如基于 CLIP 的相似度、基于检测的指标等),并支持人工评估协议。该框架帮助研究者客观比较不同 T2I 模型的组合生成能力,推动模型在复杂语义理解上的改进。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 348

核心亮点

  • 首个系统评估组合生成能力的基准,覆盖属性、关系、场景等维度
  • 提供多种自动化指标和人工评估协议,结果可复现
  • 附带大规模提示词数据集,可直接用于模型测试

不足之处

  • 项目维护和文档更新较慢,社区活跃度一般
  • 评估指标依赖 CLIP 等模型,可能对某些组合错误不敏感

适用场景

  • 研究文生图模型的组合能力对比
  • 开发新 T2I 模型时的基准测试
  • 改进评估指标或提示词设计

替代项目

Winoground、Compositional Visual Genome、DrawBench

上一篇:CipherChat

下一篇:Anti-DreamBooth

同类项目推荐

Doberman-Core 开源

给 AI 智能体装上安全锁,防提示注入,控工具权限

Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···

★ 247 2026-08-09
dep-scan 开源

扫依赖和镜像,查漏洞与许可证风险,出 SBOM

OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···

★ 1330 2026-10-23
awesome-language-model-analysis 开源

一份论文清单,帮你快速摸清大模型分析的研究脉络。

This paper list focuses on the theoretical and empirical analysis of language models···

★ 103 2026-08-09
Alignment-Whack-a-Mole-Code 开源

微调一下,对齐模型又开始背版权书

The official code repo of Alignment Whack-a-Mole: Finetuning Activates Verbatim Reca···

★ 101 2026-10-28
Apple-PI 开源

用视频生成检验AI对物理定律的理解,推动世界模型落地

[NeurIPS 2026] Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physi···

★ 82 2026-08-09
guidellm 开源

给 LLM 推理服务做真实压测,选型调优有数可依

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

★ 1764 2026-10-14
reins 开源

给 AI Agent 加护栏,只做你授权的事

Stop AI agents from doing things you didn't ask for.

★ 393 2026-11-08
lm_understand-logs 开源

把神经网络权重当文本,让大模型读懂并生成

Complete logs of the experiments in the blog post 'LLMs can understand and write neu···

★ 1142 2026-11-07
frouros 开源

实时监控模型漂移,提前预警性能下降

Frouros: an open-source Python library for drift detection in machine learning syste···

★ 260 2026-08-09