benchmark 第 3 页
本站收录 133 个带「benchmark」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 3 页）
agentic-rlagentic-rl 是一个面向中文零基础学习者的 Agentic RL 教程项目，共 25 章，从强化学习与智能体基础概念讲起，逐步过渡到 GRPO 实战，并★ 131
DSBenchDSBench 是一个面向数据科学智能体的基准测试框架，旨在评估大语言模型驱动的智能体在真实数据科学任务中的表现。它解决了现有基准测试任务过于简化、与工业实践脱★ 130
autoguardrailsAutoGuardrails 是一个面向 LLM 护栏的 alignment-research 脚手架，采用 autoresearch 风格，在单一的 poli★ 129
RiOSWorldRiOSWorld 是 NeurIPS 2025 官方发布的基准测试项目，用于评估多模态计算机操作智能体的风险。它基于 OSWorld 框架，专门测试智能体在真★ 125
S-EvalS-Eval 是一个面向大型语言模型（LLM）的自动化、综合性安全评估框架。它旨在解决当前 LLM 安全评估中依赖人工、覆盖面窄、难以标准化的问题。项目通过构建★ 123
Awesome-Large-Recommendation-Models这是一个精选大型推荐模型（LRMs）最新进展的资源列表，旨在跟踪该领域的前沿研究和开源实现。项目解决了推荐系统领域信息过载、研究进展分散的问题，通过系统化整理相★ 122
primitive-benchprimitive-bench 是一个面向 AI 智能体结果的可验证评测与交付层。它把「任务」当作商品：用户声明要完成的任务，平台先给出固定价格，再自动在多种工★ 122
FollowBenchFollowBench 是一个用于评估大型语言模型（LLM）遵循细粒度指令能力的基准测试集，由 ACL 2024 论文提出。它针对现有基准测试中指令约束过于简单★ 121
Omni-SafetyBenchOmni-SafetyBench 是一个用于评估音视频大语言模型（AV-LLMs）安全性的基准测试工具，源自 ACM MM 2026 Oral 论文。它解决当前★ 116
text2image-benchmarktext2image-benchmark 是一个用于生成式图像模型的基准测试工具，专注于文本到图像生成任务。它解决了生成模型评估标准不统一、指标计算复杂的问题，★ 110
VibeSearchBenchVibeSearchBench 是一个面向真实世界复杂搜索场景的基准测试集，旨在评估和推动搜索系统在模糊、多轮、主动式交互中的表现。它包含200个长时程任务，每★ 110
inferock-benchinferock-bench 是一个面向本地 LLM 调用的成本追踪代理，支持 OpenAI、Anthropic、Gemini 以及固定的 OpenRouter★ 109
RWKURWKU是一个针对大语言模型（LLM）的“知识遗忘”基准测试框架，源自NeurIPS 2024论文。它解决的是大模型在预训练中可能记住敏感、过时或侵权知识，导致★ 103
ReVidgenReVidgen 是一个面向具身智能世界的视频生成模型基准与评估工具包，由 ICML 2026 论文提出。它重新思考了视频生成模型在机器人、自动驾驶等具身场景中★ 101
BioDSABioDSA是一个面向生物医学领域的AI智能体快速原型开发框架，旨在帮助研究人员和开发者以“氛围原型”的方式，即通过自然语言描述和交互，快速构建、测试和迭代AI★ 100
heurigymheurigym 是一个面向组合优化问题的智能体基准测试框架，由 ICLR'26 论文提出。它专门评估大型语言模型（LLM）在组合优化任务中自主设计启发式算法的★ 97
foundational_fsod这是一个少样本目标检测（FSOD）的开源实现，对应论文《Revisiting Few Shot Object Detection with Vision-Lan★ 92
Impossible-VideosImpossible-Videos 是 ICML 2025 论文的官方基准与代码库，专注于视频生成与理解中的‘不可能视频’挑战。这类视频包含物理上不可能或高度反★ 82
circle-guard-benchcircle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能力的 AI 基准测试框★ 82
Your-First-LLM-StudioYour-First-LLM-Studio 是一个面向 Apple Silicon 芯片的本地优先 LLM 开发工作台，基于 MLX 运行时构建。它解决的是开发★ 81
Workspace-BenchWorkspace-Bench 是一个用于评测自我进化智能体在真实大规模文件工作空间中表现的基准测试平台。它解决了现有智能体评测多局限于单一任务或简单环境、难以★ 81
GenExamGenExam 是一个面向多学科文生图模型的评测基准，旨在系统评估文本到图像生成模型在跨学科知识理解与视觉呈现上的能力。它通过设计涵盖科学、历史、艺术等领域的考★ 73
TaskMeAnythingTaskMeAnything是一个用于多模态语言模型（如视觉语言模型）的任务生成与模型评估系统，发表于NeurIPS 2024。它解决的核心问题是：传统基准测试★ 71
ATM-BenchATM-Bench 是一个用于评估 AI 智能体长期个性化记忆能力的基准测试平台。它解决了当前 AI 在跨长时间跨度、多模态数据（如图像、视频、邮件）中，难以准★ 70
ChineseHarm-benchChineseHarm-Bench 是一个面向中文场景的有害内容检测基准测试集，旨在评估和比较各类模型（包括开源大模型和内容安全API）在识别中文有害信息上的能★ 70
DataGenDataGen 是一个基于大型语言模型（LLM）的统一合成数据集生成框架，相关论文已被 ICLR 2025 接收。它旨在解决真实数据获取成本高、隐私受限以及特定★ 69
SemBenchSemBench 是一个用于评测语义查询处理引擎的开源基准测试工具。它针对知识图谱、图数据库和语义数据管理系统中常见的复杂查询（如SPARQL、属性路径、联邦查★ 68
geobenchgeobench 是一个专门为语言模型设计的 GeoGuessr 基准测试工具，旨在评估 AI 模型在地理定位和空间推理方面的能力。它通过模拟 GeoGuess★ 66
awesome-agent-evolution这是一个关于AI智能体演化的开源调研清单，系统梳理了自我进化智能体、记忆机制、技能库、工具框架、基准测试和智能体集群等方向的研究资源。项目以结构化目录和证据地图★ 65
fanoutqaFanOutQA 是 ACL 2024 论文的官方配套代码，用于构建和评估大语言模型在多跳、多文档问答任务上的能力。它提供了一个包含 180 个高难度问题的基准★ 63
MIPHEI-ViTMIPHEI-ViT 是一个用于训练 H&E 染色图像到免疫荧光图像转换模型的早期开源项目。它基于 Vision Transformer 架构，解决病理图像模态★ 61
RVCBenchRVCBench 是一个针对语音克隆鲁棒性、说话人隐私和音频保护的基准测试框架，覆盖 26 个 TTS 和 VC 模型。它解决当前语音合成技术被滥用（如深度伪造★ 58
PhyXPhyX 是一个专注于物理推理能力评估的开源基准测试项目，旨在回答“你的模型是否具备物理推理的‘智慧’”。它通过设计一系列需要物理常识和因果推断的任务，来测试大★ 55