项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 71
核心亮点
- 基于NeurIPS 2024论文，方法有学术支撑，非随意设计
- 支持动态任务生成，突破固定基准的覆盖局限
- 提供标准化评估流程，便于复现和对比实验结果
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 依赖外部多模态模型，评估成本可能较高
适用场景
- 学术研究：评估多模态模型在未知任务上的泛化能力
- 模型开发：在发布前自动生成测试任务，发现模型盲点
- 基准测试：构建动态基准集，替代静态数据集
替代项目
MME、MMBench、SEED-Bench
同类项目推荐
lintlang
开源
上线前扫一遍，AI 智能体配置不踩坑
Static analysis for AI agent configs, tool descriptions, and system prompts — catch···
guardana
开源
给 AI 模型和智能体做上线前的安全体检
Open-source AI security verification for model artifacts, live endpoints, MCP server···
Veritensor
开源
扫描 AI 模型与数据，防投毒、防注入、防泄露
The Anti-Virus for AI Artifacts & RAG Firewall. A static analysis tool scanning Mode···
skill-up
开源
给 Agent 技能做体检，自动评估并迭代优化，让智能体更靠谱
An evaluation and evolution tool for Agent Skills.
overmind
开源
追踪+评测+微调，让 Agent 越用越准
The platform for continuously improving AI agents.
evals
开源
用真实 React Native 任务，测出 AI 编码真本事。
A benchmark suite for evaluating how coding models solve real React Native tasks.
axbench
开源
给LLM解释方法打分，选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···
verifywise
开源
一站式搞定 AI 合规审计，轻松应对欧盟 AI 法案等 20+ 法规。
Complete AI governance and LLM Evals platform with support for EU AI Act, ISO 42001,···