benchmark 第 1 页
本站收录 144 个带「benchmark」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 3 页)
opencompassOpenCompass 是一个大语言模型评估平台,旨在解决 LLM 评测标准不一、流程复杂的问题。它支持超过 100 个公开数据集(如 MMLU、C-Eval、★ 7,594
lmms-evallmms-eval 是一个面向多模态大模型的一站式评测工具包,支持文本、图像、视频和音频任务的统一评估。它解决了多模态模型评测标准不一、任务分散、复现困难的问题★ 4,497
Baichuan2Baichuan2 是百川智能推出的系列大语言模型,包括基座模型和对话模型,覆盖 7B、13B 等参数规模。它旨在提供高质量的中英文双语能力,解决通用对话、内容★ 4,072
FlashRAGFlashRAG 是一个面向高效检索增强生成(RAG)研究的 Python 工具包,由 WWW2025 资源论文支持。它旨在解决 RAG 研究和应用中存在的复现★ 3,606
OSWorldOSWorld 是一个用于评估多模态 AI 智能体在真实计算机环境中执行开放式任务能力的基准测试平台,发表于 NeurIPS 2024。它解决了现有基准测试环境★ 3,260
promptbenchPromptBench 是一个面向大语言模型的统一评估框架,旨在解决当前 LLM 评估碎片化、缺乏标准化的问题。它提供了一套模块化、可扩展的工具,支持对模型进行★ 2,818
little-coderlittle-coder 是一个用 TypeScript 编写的编码智能体运行框架(harness),专门针对参数量较小的本地大模型做优化。它解决的核心问题是:★ 2,728
tau2-benchτ-Bench 是一个用于评估工具调用型智能体(Tool-Agent)在真实世界领域中人机交互能力的基准测试框架。它针对当前大模型智能体在复杂业务场景中需要与用★ 2,454
InternVideoInternVideo 是一个面向多模态理解的开源视频基础模型项目,由上海人工智能实验室发布,相关论文发表于 ECCV2024。它旨在解决视频理解中模型泛化能力★ 2,419
beirBEIR是一个异构信息检索基准测试平台,旨在解决IR模型评估碎片化的问题。它整合了超过15个多样化的检索数据集,覆盖问答、生物医学、金融、法律等多个领域,并提供★ 2,334
tapnetTapNet 是 DeepMind 开源的「追踪任意点」(Tracking Any Point, TAP)基准与算法实现,目标是在视频中持续追踪用户指定的任意像★ 2,264
Awesome-LLM-Long-Context-ModelingAwesome-LLM-Long-Context-Modeling 是一个精选资源列表,聚焦于大语言模型的长上下文建模技术。它系统整理了相关论文、博客和开源工具★ 2,192
ADRADR 是一个面向企业级 AI 智能体的安全防护框架,由 Uber 部署并开源。它解决的核心问题是:随着 AI Agent 在企业中承担越来越多的自动化任务,其★ 2,135
skillsbenchSkillsBench 是一个面向 AI 技能(skills)与智能体(agent)的评测基准项目,核心目标是回答两个问题:技能本身好不好用,以及智能体是否真的★ 1,919
VBenchVBench 是一个专为视频生成模型设计的综合评估基准,由 CVPR 2024 Highlight 论文提出。它解决了视频生成领域缺乏统一、细粒度、自动化评估标★ 1,845
evalplusevalplus 是一个用于严格评估大语言模型生成代码质量的基准测试框架,源自 NeurIPS 2023 与 COLM 2024 论文。它针对现有代码生成评测(★ 1,838
fastRAGfastRAG是一个专注于高效检索增强生成(RAG)的开源框架,旨在解决企业落地RAG时面临的性能瓶颈和部署复杂性问题。它基于Haystack构建,但针对生产环★ 1,783
PyHealthPyHealth 是面向医疗健康 AI 的 Python 深度学习工具箱,目标是把分散、格式各异的临床数据统一成可复现的实验流水线。它内置对电子病历(MIMIC★ 1,699
LLM-eval-surveyLLM-eval-survey 是大语言模型评估领域权威综述论文《A Survey on Evaluation of Large Language Models★ 1,616
SkillEvaluatorSkillEvaluator 是一个面向 AI Agent 技能(skills)的多层级评测框架,目标是回答一个实际问题:你给 Agent 装的技能到底有没有用★ 1,502
llm-colosseumllm-colosseum 是一个通过让大语言模型在《街头霸王3》中互相对战来评估其能力的开源基准测试项目。它解决了传统基准测试(如问答、代码生成)难以衡量模型★ 1,490
ClawBenchClawBench 是一个开源的浏览器 AI 智能体基准测试项目,专注于评估 AI 智能体在真实日常任务中的表现。它解决了当前浏览器智能体缺乏统一、贴近真实场景★ 1,300
nautilus-compassnautilus-compass 是一个面向多智能体协作的可靠性中间层,核心目标是让多个 Agent 在没有中心化编排器(orchestrator)的情况下依然★ 1,258
keystone-benchkeystone-bench 是一个面向临床决策支持的评测基准,基于 OpenAI 的 HealthBench 构建。它要解决的问题是:医疗问答里模型给出的答案★ 1,131
agentdojoagentdojo 是一个用于评估 LLM 智能体攻击与防御的动态环境。它解决的核心问题是:随着 LLM 智能体被赋予调用外部工具和访问敏感数据的权限,针对这些★ 1,036
GLM-5.3-Flash-J-Space-Capability-Realization-Report这是一个围绕 GLM-5.3-Flash 与 J-Space 认知套件的能力实现报告型开源项目,核心是把 J-Space Cognition Suite 的评测★ 1,017
OpenCUAOpenCUA 是一个为计算机使用智能体(Computer-Use Agents)提供开放基础的开源项目,入选 NeurIPS 2025 Spotlight。它★ 877
agy-staffagy-staff 是一个把 Google Antigravity CLI(agy)接入 Claude Code 和 OpenAI Codex 的插件式工具,让★ 872
mobilegymMobileGym 是一个面向移动端 GUI 智能体研究的可验证、高并行仿真平台,论文已被 EMNLP 2026 收录。它把安卓模拟器搬进浏览器,无需真机或本地★ 866
ClawProBenchClawProBench 是一个面向 LLM Agent 的评测基准框架,专门针对 OpenClaw 运行时环境设计。它解决的核心问题是:当前多数 Agent ★ 830
inspect-robotsinspect-robots 是一个面向物理 AI(具身智能)的开源评测框架,目标是把机器人策略与视觉-语言-动作(VLA)模型的评估标准化。它解决的核心问题是★ 762
LightCompressLightCompress 是一个面向大模型压缩的开源工具包,由 EMNLP 2024 和 AAAI 2026 论文支撑,支持对 LLM(大语言模型)、VLM(★ 755
VLM2VecVLM2Vec 是一个将视觉语言模型(VLM)适配为多功能嵌入模型的开源项目,核心解决多模态内容(图像、文本、视频等)的统一向量化表示问题。它提出了 MMEB(★ 704
SkillCorpusSkillCorpus 是一个开源基础设施,旨在将分散的 SKILL.md 文件转化为经过整理、可直接用于检索的智能体技能语料库。它解决了 AI 智能体在技能管★ 703
long-form-factuality这是一个用于评估大语言模型长文本事实性(long-form factuality)的基准测试工具,来自论文《Long-form factuality in la★ 698
aseprite-ai-artistaseprite-ai-artist 是一个基于 MCP(Model Context Protocol)的服务器与技能包,让 Claude Code、Codex★ 698
AgentLabAgentLab 是一个面向 Web 智能体(Web Agent)的开源开发、测试与基准评测框架。它要解决的问题是:当前基于大模型的网页操作智能体层出不穷,但缺★ 667
Awesome-LLM-EvalAwesome-LLM-Eval 是一个精选资源列表,专注于大语言模型(LLM)的评测领域。它系统性地整理了评测工具、数据集/基准、演示、排行榜、论文、文档和模★ 660
ParseBenchParseBench 是一个面向 AI Agent 的文档解析基准测试工具,旨在解决 LLM 应用中文档解析能力难以量化评估的问题。它提供了一套标准化的评测流程★ 638
TrustLLMTrustLLM 是一个针对大语言模型可信度的系统性研究项目,源自 ICML 2024 论文。它定义了一个包含真实性、安全性、公平性、鲁棒性、隐私性、机器伦理与★ 636
EnterpriseRAG-BenchEnterpriseRAG-Bench 是一个专为企业内部文档场景设计的 RAG(检索增强生成)评测基准与数据集。它解决的核心问题是:通用 RAG 评测集(如自★ 633
meta-agents-research-environmentsMeta Agents Research Environments 是一个用于评估 AI 智能体的动态仿真平台。与静态基准测试不同,它构建了信息持续变化的环境,★ 579
bigcodebenchBigCodeBench 是一个面向代码生成任务的基准测试框架,旨在评估和推动大语言模型在真实编程场景中的能力,其目标直指 AGI。它解决了现有代码基准测试过于★ 518
polymarket-paper-traderpolymarket-paper-trader 是一个为 AI 智能体打造的 Polymarket 预测市场模拟交易平台。它解决了 AI 交易策略在真实资金投入★ 509
Static-to-Dynamic-LLMEvalStatic-to-Dynamic-LLMEval 是论文《Recent advances in large language model benchmarks★ 492
DG-PHMDG-PHM 是一个聚焦于工业设备故障诊断与剩余寿命预测的开源资源库,核心主题是“领域泛化”(Domain Generalization)。在真实工业场景中,设★ 477
Awesome-Evaluation-of-Visual-Generation这是一个聚焦视觉生成模型评测领域的精选资源列表,系统整理了相关的评估指标、评估模型和评估系统。它解决了视觉生成领域缺乏统一、全面评测参考的问题,为研究人员和工程★ 466
OpenRCAOpenRCA 是一个研究项目,旨在探索大语言模型(LLM)能否自动定位软件故障的根因。它基于 ICLR'25 论文,提供了完整的实验框架和数据集,用于评估 L★ 451
CRUD_RAGCRUD-RAG 是一个专为中文检索增强生成(RAG)技术设计的综合评测基准。它针对大语言模型在知识密集型任务中的表现,提供了一套系统化的评估框架。该项目解决了★ 420
NextTransformerNextTransformer 是一个面向下一代 Transformer/LLM 的开源框架,目标是把模型架构研究从零散实验变成可复现、可对比的系统工程。它提供★ 415