evaluation 第 2 页
本站收录 104 个带「evaluation」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 3 页）
awesome-llm-unlearning这是一个关于大语言模型机器遗忘（Machine Unlearning）的资源列表仓库，旨在系统整理该领域的前沿论文、基准数据集、评估指标和开源工具。它解决的核心★ 632
TrustLLMTrustLLM 是一个针对大语言模型可信度的系统性研究项目，源自 ICML 2024 论文。它定义了一个包含真实性、安全性、公平性、鲁棒性、隐私性、机器伦理与★ 632
ParseBenchParseBench 是一个面向 AI Agent 的文档解析基准测试工具，旨在解决 LLM 应用中文档解析能力难以量化评估的问题。它提供了一套标准化的评测流程★ 604
EnterpriseRAG-BenchEnterpriseRAG-Bench 是一个专为企业内部文档场景设计的 RAG（检索增强生成）评测基准与数据集。它解决的核心问题是：通用 RAG 评测集（如自★ 600
MMMUMMMU 是一个大规模多学科多模态理解与推理基准测试集，旨在评估和推动 AI 模型在专家级通用人工智能（AGI）方向上的能力。它包含来自艺术、工程、科学等六大领★ 598
SkillEvaluatorSkillEvaluator 是一个面向 AI Agent 技能（skills）的多层级评测框架，目标是回答一个实际问题：你给 Agent 装的技能到底有没有用★ 583
meta-agents-research-environmentsMeta Agents Research Environments 是一个用于评估 AI 智能体的动态仿真平台。与静态基准测试不同，它构建了信息持续变化的环境，★ 569
Static-to-Dynamic-LLMEvalStatic-to-Dynamic-LLMEval 是论文《Recent advances in large language model benchmarks★ 493
Awesome-Evaluation-of-Visual-Generation这是一个聚焦视觉生成模型评测领域的精选资源列表，系统整理了相关的评估指标、评估模型和评估系统。它解决了视觉生成领域缺乏统一、全面评测参考的问题，为研究人员和工程★ 464
HyphaHypha 是一个面向生产环境的 LLM Agent 应用开发框架，用 TypeScript 编写。它的核心理念是「Harness-oriented」，即把 A★ 449
awesome-ai-leaderboard这是一个精选AI领域排行榜资源的开源列表，旨在帮助开发者、研究者和产品经理快速找到各类AI模型、智能体和应用的评测基准与排名信息。项目解决了AI领域信息分散、评★ 385
genaiops-promptflow-template这是一个面向企业级 LLM 应用开发的 GenAIOps 模板与指南，基于微软 Prompt Flow 构建。它解决的核心问题是：LLM 应用从原型到生产过程中★ 368
aragA-RAG (arag) 是一个基于智能体（Agentic）的检索增强生成（RAG）框架，通过分层检索接口解决多跳问答中的复杂信息获取问题。它提供了关键词检索、★ 362
PySODEvalToolkitPySODEvalToolkit 是一个基于 Python 的显著性目标检测（SOD）与伪装目标检测（COD）评测工具箱。该领域论文中常用 MAE、F-meas★ 354
UltraEval-AudioUltraEval-Audio 是一个面向音频领域的统一评测基准框架，旨在为 ASR（语音识别）、TTS（语音合成）、音频编解码器以及音频大语言模型提供标准化、★ 327
WorldFoundryWorldFoundry 是一个面向世界模型（World Model）的统一推理与评估基础设施，旨在解决视频生成、视觉-语言-动作（VLA）及世界动作模型（WA★ 321
evaleval 是 FrontierHarness 项目的评测结果与任务定义公开仓库，专注于大语言模型（LLM）在真实编码环境中的能力评估。它解决的核心问题是：传统基★ 316
rag-experiment-acceleratorRAG Experiment Accelerator 是一个用于加速检索增强生成（RAG）实验与评估的 Python 工具，主要面向 Azure Cogniti★ 313
athina-evalsathina-evals 是一个用于评估大语言模型（LLM）生成响应的 Python SDK。它解决了开发者在构建 LLM 应用时难以系统化、自动化评估输出质量★ 302
benchmark-radarbenchmark-radar 是一个面向 AI 评测领域的数据聚合工具，它从 37 个公开来源持续抓取并整理超过 11,923 条与 AI benchmark★ 301
LRV-InstructionLRV-Instruction 是一个用于缓解大型多模态模型（LMM）幻觉问题的开源项目，其核心方法是通过鲁棒的指令微调来提升模型对视觉内容的忠实度。项目针对当★ 297
ResearchClawBenchResearchClawBench 是一个用于评估 AI 智能体在自动化科研任务中能力的基准测试平台，覆盖从“重新发现”已知科学结论到“新发现”未知规律的完整科★ 271
MixEvalMixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基准测试因数据泄露和过拟合导致模型分数虚高的问题，通过混合多种★ 253
evalsevals 是一个面向 AI Agent 与 LLM 应用的综合评测框架，用 Python 编写，核心目标是解决大模型应用上线前缺乏统一、可复现评测标准的问题。★ 238
arksimarksim 是一个用于对话式 AI 智能体的开源评估与模拟测试框架。它通过模拟真实用户与智能体进行交互，在智能体上线前自动发现潜在错误，帮助开发者提升对话系统★ 233
MMStarMMStar 是一个用于评估大型视觉语言模型（LVLMs）的基准测试工具，源自 NeurIPS 2024 论文。它解决了现有评估基准中模型可能通过语言先验或训练★ 218
unitxtUnitxt 是一个面向企业级 AI 性能评估的 Python 库，提供全球最大的工具和数据目录，用于端到端的 AI 基准测试。它解决了 AI 评估流程中数据准★ 215
ChronoMagic-BenchChronoMagic-Bench 是一个用于评估文生视频模型在时间延展与形态变化能力的基准测试集，由 NeurIPS 2024 D&B Spotlight 收★ 214
LLMEvaluationLLMEvaluation 是一份面向大语言模型评测方法的系统性指南，以 HTML 文档形式组织，目标是帮助开发者、产品团队和研究者根据自身用例挑选最合适的评测★ 207
UHGEvalUHGEval 是一个面向大语言模型幻觉评估的用户友好型框架，由 ACL 2024 论文提出。它旨在解决 LLM 在实际应用中生成不忠实或虚假内容的问题，通过提★ 184
xFinderxFinder是一个用于大语言模型评估的自动化评测框架，核心思路是让LLM本身充当评估器，以替代传统的人工评估或基于规则的方法。它解决了LLM输出评估中可靠性不★ 178
agentevalsagentevals 是一个与框架无关的 LLM 智能体评估解决方案，它基于 OpenTelemetry 追踪数据来工作。该项目解决的核心问题是：在复杂的智能体★ 166
One-EvalOne-Eval 是一个面向大语言模型评测的自动化系统，核心思路是用 agent 来驱动整个评测流程。传统 LLM 评测往往需要人工配置数据集、编写推理脚本、跑★ 164
xVerifyxVerify 是一个面向推理模型的高效答案验证器，专门用于评估 LLM 在数学等推理任务上的表现。它解决的是传统评估中依赖人工或大型 judge 模型成本高、★ 149
faster_coco_evalfaster_coco_eval 是已废弃项目 fast-coco-eval 的延续维护版本，用 Python 重写并加速了 COCO 数据集的目标检测/实例分★ 147
DallEvalDallEval 是一个用于评估文本到图像生成模型的推理能力与社会偏见的开源项目，源自 ICCV 2023 论文。它提供了系统的评估框架和工具，帮助研究者和开发★ 141
TrustEval-toolkitTrustEval-toolkit 是一个用于评估生成式基础模型可信度的开源工具包和基准测试集，相关论文已被 ICLR'26 和 NAACL'25 Demo 接★ 136
autoguardrailsAutoGuardrails 是一个面向 LLM 护栏的 alignment-research 脚手架，采用 autoresearch 风格，在单一的 poli★ 129
language-ai-engineering-labLanguage AI Engineering Lab 是一个专注于语言AI工程实践的开源学习仓库，旨在帮助开发者从基础原理到生产部署，系统性地理解和构建现代语★ 128
awesome-ai-eval这是一个关于AI评估领域的精选资源清单，旨在帮助开发者和研究者系统性地了解如何评估AI系统在真实应用中的可靠性。项目汇集了各类工具、方法和平台，覆盖评估框架、指★ 122
primitive-benchprimitive-bench 是一个面向 AI 智能体结果的可验证评测与交付层。它把「任务」当作商品：用户声明要完成的任务，平台先给出固定价格，再自动在多种工★ 122
awesome-data-contamination这是一个关于大语言模型评估中数据污染问题的论文列表项目。数据污染指预训练数据中混入下游评估测试集，导致模型评估分数虚高、结果失真。该项目系统整理了相关研究论文，★ 118
EvalEval 是一个面向大语言模型的高性能评测框架，核心卖点是并行 API 调用，官方宣称比顺序执行的评测工具快最多 17 倍。它解决的是传统评测脚本逐个样本串行请★ 117
Omni-SafetyBenchOmni-SafetyBench 是一个用于评估音视频大语言模型（AV-LLMs）安全性的基准测试工具，源自 ACM MM 2026 Oral 论文。它解决当前★ 116
autoarenaautoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。它通过自动化的两两对比（head-to-he★ 108
M3ExamM3Exam 是一个多语言、多模态、多层次的 LLM 评测基准，提供配套数据与代码，用于全面检验大语言模型在多样化考试场景中的能力表现，是学术研究者评估模型综合★ 105
InjectRangeInjectRange 是一个面向大模型提示注入（prompt injection）评测的防护测试框架，用 Python 编写，提供命令行工具。它内置了六个入侵★ 105
litefuseLitefuse 是一个面向 AI 智能体的可观测性与评估平台，旨在解决开发者在构建和部署 LLM 应用时面临的调试困难、性能监控缺失和效果评估不透明等问题。它★ 103
llm-evalllm-eval 是一个面向大语言模型的评估平台，旨在解决模型性能难以量化、对比缺乏标准的问题。它支持多种主流评估基准（如 MMLU、GSM8K 等），允许用户★ 99
dialog-evaldialog-eval 是一个用于评估对话模型的 Python 库，提供 17 种自动化评估指标，覆盖流畅性、相关性、信息量、多样性等维度。它旨在解决对话系统开★ 97