benchmark 第 2 页
本站收录 133 个带「benchmark」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 3 页）
ollama-benchmarkollama-benchmark 是一个面向本地大模型（通过 Ollama 运行）的吞吐量基准测试工具。它解决的核心问题是：当你在本地部署 Llama、Mist★ 397
superbenchmarkSuperBenchmark 是微软开源的 AI 基础设施验证与性能分析工具，面向 GPU 集群、云上 AI 算力平台和自建训练环境。它解决的核心问题是：在部署★ 397
InfiniteBenchInfiniteBench 是论文《∞Bench: Extending Long Context Evaluation Beyond 100K Tokens》的★ 393
awesome-ai-leaderboard这是一个精选AI领域排行榜资源的开源列表，旨在帮助开发者、研究者和产品经理快速找到各类AI模型、智能体和应用的评测基准与排名信息。项目解决了AI领域信息分散、评★ 385
physics-IQ-benchmark这是一个用于评估生成式视频模型物理理解能力的基准测试工具。它通过设计一系列物理场景和任务，测试视频生成模型是否真正理解物体的运动规律、碰撞、重力等物理现象，而不★ 379
strix-halo-guidestrix-halo-guide 是一份针对 AMD Strix Halo（GFX1151，如 Radeon 8060S）平台本地 AI 部署的实测指南与基准测★ 362
benchflowbenchflow 是一个面向强化学习（RL）研究的开源基础设施，旨在简化 RL 环境的创建、后训练（post-training）和评测（evals）流程。它解★ 355
T2I-CompBenchT2I-CompBench 是一个用于评估文本到图像生成模型组合能力的基准测试框架，由 NeurIPS 2023 和 TPAMI 论文提出。它解决了现有评估指标★ 348
HallusionBenchHallusionBench 是一个针对多模态大语言模型（如 GPT-4V、LLaVA-1.5）的图像上下文推理基准测试集，旨在揭示模型在视觉问答中因视觉错觉或★ 345
XLingEvalXLingEval 是一个用于跨语言评估大型语言模型（LLM）在医疗健康查询场景中表现的开源工具包，源自同名论文。它主要解决非英语用户在向LLM提出医疗问题时，★ 342
optimum-benchmarkoptimum-benchmark 是 Hugging Face Optimum 生态下的统一多后端基准测试工具，用于对 Transformers、Timm、P★ 341
TSB-ADTSB-AD 是一个面向时间序列异常检测的开源基准与工具箱，提供统一的算法实现、数据集加载和评测流程。它解决的核心问题是：时间序列异常检测领域算法众多、数据集分★ 339
UltraEval-AudioUltraEval-Audio 是一个面向音频领域的统一评测基准框架，旨在为 ASR（语音识别）、TTS（语音合成）、音频编解码器以及音频大语言模型提供标准化、★ 327
WorldFoundryWorldFoundry 是一个面向世界模型（World Model）的统一推理与评估基础设施，旨在解决视频生成、视觉-语言-动作（VLA）及世界动作模型（WA★ 321
SDGymSDGym 是一个用于基准测试合成数据生成方法的开源工具，由 SDV 团队开发。它解决了如何公平、系统地评估不同合成数据生成算法性能的问题。SDGym 提供了一★ 312
agent-smithagent-smith 是一个面向 AI 编程智能体的成本优化与可观测性工具集，主要解决使用 Codex 等编码代理时 token 消耗不透明、费用容易超支的问★ 308
benchmark-radarbenchmark-radar 是一个面向 AI 评测领域的数据聚合工具，它从 37 个公开来源持续抓取并整理超过 11,923 条与 AI benchmark★ 301
gen-fraud-graphgen-fraud-graph 是一个用于生成合成欺诈图数据的开源工具，专门服务于金融领域基于图的欺诈检测模型基准测试。它解决了真实金融欺诈数据难以获取、隐私敏★ 291
Large-Scale-MedicalLarge-Scale-Medical 是一个面向大规模三维医学影像预训练的开源项目，发表于 TPAMI 2026。它针对医学影像分析中标注数据稀缺、模型泛化能★ 290
ArtifactsBenchmarkArtifactsBenchmark 是一个用于评估和比较 AI 生成工件（如代码、文档、设计稿等）质量的基准测试框架。它解决了当前 AI 模型在生成复杂、多步★ 281
DS-1000DS-1000 是一个面向数据科学场景的代码生成基准测试集，由 ICML 2023 论文团队发布。它包含 1000 个真实世界的数据科学问题，覆盖 Pandas★ 278
VideoGen-EvalVideoGen-Eval 是一个基于智能体的视频生成评估系统，旨在解决视频生成模型评测标准缺失、评估维度单一的问题。它提供了一套完整的评估框架，支持文本到视频★ 272
ResearchClawBenchResearchClawBench 是一个用于评估 AI 智能体在自动化科研任务中能力的基准测试平台，覆盖从“重新发现”已知科学结论到“新发现”未知规律的完整科★ 271
LynnReal-OmniLynnReal-Omni 是一个把多种视频生成与编辑能力统一到同一框架的开源项目，基于 Python 实现。它试图解决视频生成领域模型碎片化的问题：文生视频、★ 261
foundation-model-benchmarking-tool这是一个用于基础模型（大模型）基准测试的开源工具，旨在帮助用户在 AWS 云平台上运行任意模型，并对比不同实例类型和服务栈（serving stack）的性能表★ 256
MixEvalMixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基准测试因数据泄露和过拟合导致模型分数虚高的问题，通过混合多种★ 253
confabulationsconfabulations 是一个用于评估 RAG（检索增强生成）系统幻觉（或称虚构）问题的文档型基准测试集。它提供了一系列经过人工验证的问题和答案，专门设计★ 249
OpenARTOpenART 是一个面向自主 AI 智能体（Agent）的开源安全评测框架，专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 249
OpenS2V-NexusOpenS2V-Nexus 是 NeurIPS 2025 D&B 收录的百万级主体到视频生成（Subject-to-Video）基准与数据集项目。它解决当前视频★ 232
myclaw-benchmyclaw-bench 是一个针对 OpenClaw 智能体的基准测试项目，由 MyClaw.ai 提供支持。它旨在解决 AI 智能体在真实任务中缺乏标准化评★ 222
ChronoMagic-BenchChronoMagic-Bench 是一个用于评估文生视频模型在时间延展与形态变化能力的基准测试集，由 NeurIPS 2024 D&B Spotlight 收★ 214
LMeterXLMeterX 是一个基于 Python 的通用 API 压测平台，专注于大模型推理服务与业务 HTTP 接口的性能测试。它解决传统压测工具难以适配 LLM 流★ 212
PersonaMemPersonaMem 是 COLM 2025 论文的开源基准测试，用于评估大语言模型在动态用户画像和个性化回复方面的能力。它解决了现有评测缺乏对长期、动态用户记★ 203
UHGEvalUHGEval 是一个面向大语言模型幻觉评估的用户友好型框架，由 ACL 2024 论文提出。它旨在解决 LLM 在实际应用中生成不忠实或虚假内容的问题，通过提★ 184
Shot2StoryShot2Story 是一个面向多镜头视频理解的新基准数据集和评测工具。它解决了现有视频理解基准仅提供单一全局描述、缺乏细粒度镜头级信息的问题，提供了包含完整视★ 181
xFinderxFinder是一个用于大语言模型评估的自动化评测框架，核心思路是让LLM本身充当评估器，以替代传统的人工评估或基于规则的方法。它解决了LLM输出评估中可靠性不★ 178
LLM-Agent-Benchmark-ListLLM-Agent-Benchmark-List 是一个专门收集和整理大语言模型（LLM）智能体（Agent）评估基准（Benchmark）的清单项目。它解决的★ 172
One-EvalOne-Eval 是一个面向大语言模型评测的自动化系统，核心思路是用 agent 来驱动整个评测流程。传统 LLM 评测往往需要人工配置数据集、编写推理脚本、跑★ 164
WorfBenchWorfBench 是一个用于评测和生成智能体工作流（Agentic Workflow）的基准测试框架，由 ICLR 2025 论文提出。它解决的核心问题是：当★ 159
coircoir 是一个面向代码信息检索（Code Information Retrieval）的综合基准测试集，发表于 ACL 2025 Main。它旨在解决现有代码★ 156
ClassEvalClassEval 是一个面向类级别代码生成的基准测试集，旨在评估大语言模型在生成完整类（而非单函数）时的能力。它包含 100 个由人工构建的 Python 类★ 154
benchmark这是一个面向浏览器智能体（browser agent）的开源评测基准项目，提供 BU Bench V2.1，包含 200 个真实网页任务，用于衡量 AI 智能体★ 152
OceanGymOceanGym 是一个面向水下具身智能体的基准测试环境，旨在解决水下机器人（如AUV、ROV）在复杂海洋环境中进行导航、操控和决策时缺乏标准化评估平台的问题。★ 150
xVerifyxVerify 是一个面向推理模型的高效答案验证器，专门用于评估 LLM 在数学等推理任务上的表现。它解决的是传统评估中依赖人工或大型 judge 模型成本高、★ 149
lora-speedrunlora-speedrun 是一个把 LoRA 微调变成竞速比赛的开源基准项目，思路类似 modded-nanogpt，但聚焦在微调场景。它固定任务、固定硬件、★ 149
TABTAB 是一个面向时间序列异常检测（TSAD）方法的统一基准测试框架，相关论文被 PVLDB 2025 接收。它解决当前异常检测领域缺乏公平、全面评估平台的问题★ 146
openbenchopenbench 是一个从零构建的基准测试项目，用于横向对比不同编码智能体框架（如 codex、pi、opencode、cursor、devin）以及开放模型★ 137
aws-benchaws-bench 是一个用于评估 AI 智能体在真实 AWS 云环境中执行任务能力的基准测试工具。它针对云运维场景，如诊断配置错误、部署基础设施和操作实时云环★ 136
sec-code-benchSecCodeBench 是一个专注于评估大语言模型生成代码安全性的基准测试套件。随着 LLM 被广泛用于代码补全、生成和修复，模型可能产出带有漏洞的代码，如注★ 135
awesome-ai-gatewayawesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenRouter、Portkey、Ko★ 131