项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 191
核心亮点
- 细粒度评估：将提示词拆解为原子问题，逐项验证，定位具体失败点
- 可解释性强：输出每个问题的问答结果，便于分析模型错误原因
- 自动化流程：无需人工标注，利用VQA模型自动评估，节省人力
不足之处
- 依赖VQA模型性能，VQA本身的误差会影响评估准确性
- 问题生成依赖LLM，对复杂提示词可能分解不完整
- 文档/社区待观察
适用场景
- 对比不同T2I模型的忠实度表现
- 在模型训练中作为反馈信号，优化文本-图像一致性
- 为生成图像质量评估提供细粒度诊断报告
替代项目
CLIPScore、BLIP-VQA、ImageReward
上一篇：Anti-DreamBooth
下一篇：WatermarkDM
同类项目推荐
ViT-Prisma
开源
打开视觉Transformer黑箱，看清内部机制
ViT Prisma is a mechanistic interpretability library for Vision and Video Transforme···
ai-safe2-framework
开源
给 AI 智能体装上治理与合规操作系统，让 AI 安全落地。
The Universal Governance, Risk, Compliance (GRC) Operating System with Integrated Se···
Rules.txt
开源
用指令集撬开AI黑盒，审计推理与偏见
LLM alignment jailbreak; a set of instructions for auditing their internal reasoning···
evals
开源
配置驱动的 Agent 评测，批量跑完直接看结果
Fast, robust, configurable agent evals
Viper
开源
用AI驱动红队演练，自动化攻击模拟，提升渗透效率
Adversary simulation and Red teaming platform with AI
skill-validator
开源
一条命令检查 Agent Skill 写得对不对、够不够扎实
Validate Skill content against Agent Skill specification, with additional content de···
safe-clip
开源
给 CLIP 模型装上安全阀，自动过滤 NSFW 内容
[ECCV 2024] Official implementation of Safe-CLIP, a safety-aligned vision-language m···
leva
开源
用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋
LLM Evaluation Framework for Rails apps to be used with production data.
NiceEval
开源
10分钟为你的AI Agent搭建评测体系
build eval for your agent in 10 mins