项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 74
核心亮点
- 首创多学科考试式评测，覆盖科学、历史、艺术等知识领域，弥补现有基准偏重美学忽略知识的短板
- 提供自动化评分流程，支持可复现的模型对比，降低评测门槛
- 面向ICML 2026，学术严谨性高，适合作为论文基准
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 考题集规模与覆盖度有限，可能不足以反映真实世界多样性
适用场景
- 学术研究：评估文生图模型在知识密集型任务上的表现
- 模型开发：在训练或微调阶段使用GenExam作为验证集
- 教育应用：测试模型对学科概念的理解，辅助教学工具设计
替代项目
T2I-CompBench、ImageReward、HEIM (Holistic Evaluation of Text-to-Image Models)
同类项目推荐
Offensive-Security-AI-Models
开源
找能聊攻防的开源模型，本地跑不拒答
Uncensored AI models or those fine-tuned for cybersecurity tasks.
python-sdk
开源
官方 Python 客户端，几行代码接入标准化 AI 评测
The official Python SDK for Eval Protocol
ollama-grid-search
开源
本地 Ollama 模型批量跑评测，网格对比一键出结果
A multi-platform desktop application to evaluate and compare LLM models, written in ···
CS-Eval
开源
给网络安全大模型打分，快速找出安全能力短板
CS-Eval is a comprehensive evaluation suite for fundamental cybersecurity models or ···
Ai-jailbreak
开源
拿来即用的越狱提示库，快速测模型安全底线
A collection of jailbreak prompts and exploit techniques for local and frontier AI m···
Awesome-LLM-Red-Teaming
开源
一站式收集 LLM 红队测试资源，快速上手安全攻防
A curated list of awesome LLM Red Teaming training, resources, and tools.
future-agi
开源
一站式评估、观测和优化你的 AI 智能体，提升可靠性和安全性。
Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI···
langwatch
开源
一站式搞定LLM评估与智能体测试，从开发到上线全程可控
Open-Source Agent Observability & Evals for AI Platform teams. Trace, test, route an···
uqlm
开源
量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。
[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···