评测安全

matharena 开源 可打开

用最新数学竞赛题测大模型真实推理水平

MathArena 是一个面向大语言模型数学推理能力的评测项目，聚焦最新数学竞赛题目（如 AIME、HMMT 等···

tool-retrieval-benchmark 开源 免费 仅开源

测测你的检索模型会不会挑工具，让LLM用对工具

这是一个用于评估大语言模型工具检索能力的基准测试框架，源自ACL2025论文。它解决了当前检索模型在···

openevals 开源 免费 仅开源

几行代码给 LLM 应用打分，快速比出哪个版本更好

openevals 是 LangChain 生态下的一套开箱即用的 LLM 应用评测器集合，面向需要评估大模型应用输出···

llm_benchmark 开源 免费 仅开源

跑一遍评测，快速发现大模型安全短板

llm_benchmark 是一个面向大语言模型的安全与能力评测开源项目，主要解决模型在真实使用中可能出现···

LettuceDetect 开源 免费 仅开源

定位 RAG 回答里哪句话没依据，span 级揪出幻觉

LettuceDetect 是一个面向 RAG、代码生成和工具调用场景的幻觉检测工具，核心做的是 span 级别的 g···

llm-srbench 开源 免费 仅开源

测测大模型能不能发现科学公式，一测便知

LLM-SRBench 是一个用于评估大语言模型在科学方程发现任务上能力的基准测试，发表于 ICML 2025 Ora···

Awesome-LVLM-Safety 开源 免费 仅开源

一页看懂视觉语言模型安全攻防与评测资源

Awesome-LVLM-Safety 是一个围绕大型视觉语言模型（LVLM）安全性的资源合集，与同名综述论文《A Su···

benchflow 开源 可打开

一键搭建 RL 训练与评测流水线，省去重复造轮子

benchflow 是一个面向强化学习（RL）研究的开源基础设施，旨在简化 RL 环境的创建、后训练（post-t···

inference-perf 开源 免费 仅开源

给大模型推理服务做压测，量化吞吐延迟

inference-perf 是 Kubernetes SIG Scalability 生态下的 GenAI 推理性能基准测试工具，用 Python ···

convex-evals 开源 可打开

给 Convex 后端做功能与安全体检，部署前拦住越权和逻辑错。

convex-evals 是一个面向 Convex 后端平台的评测与安全测试工具集，用 TypeScript 编写。它解决的核···

AI-Infra-Guard 开源 免费 仅开源

一键扫描AI全链路，提前揪出安全漏洞

AI-Infra-Guard 是一个全栈 AI 红队测试平台，旨在系统性评估和加固 AI 生态系统的安全性。它解决了···

VLABench 开源 免费 仅开源

一站式公平评测VLA与具身智能模型，让模型实力一目了然

VLABench 是一个大规模基准测试平台，专为公平评估视觉-语言-动作模型（VLA）、具身智能体及视觉语···

dingo 开源 可打开

一键评测AI数据与模型质量，自动出报告

Dingo 是一个面向 AI 数据、模型与应用的质量评测工具，用 Python 编写。它要解决的问题是：大模型···

mt-rag-benchmark 开源 免费 仅开源

多轮对话下测 RAG，暴露单轮评测看不到的短板

mt-rag-benchmark 是面向多轮对话检索增强生成（RAG）场景的开源评测基准，主要解决现有 RAG 评测大···

TrustEval-toolkit 开源 免费 仅开源

一键评估生成模型可信度，量化风险更安心

TrustEval-toolkit 是一个用于评估生成式基础模型可信度的开源工具包和基准测试集，相关论文已被 I···

physics-IQ-benchmark 开源 免费 可打开

测测视频模型懂不懂物理，量化物理常识短板

这是一个用于评估生成式视频模型物理理解能力的基准测试工具。它通过设计一系列物理场景和任务，测···

Video-Bench 开源 免费 仅开源

用AI自动给视频生成模型打分，快速比出谁更强

Video-Bench 是一个视频生成领域的评测基准项目，旨在系统评估视频生成模型的质量。它解决的核心问···

Awesome-Video-MLLMs 开源 免费 仅开源

一站式追踪视频多模态大模型前沿，快速找到所需模型和基准。

Awesome-Video-MLLMs 是一个专注于视频多模态大模型（MLLMs）及其基准测试的资源汇总项目，覆盖短视···

FuzzyAI 开源 免费 仅开源

自动给 LLM 做安全体检，找出越狱漏洞

FuzzyAI 是一个自动化的大语言模型模糊测试工具，旨在帮助开发者和安全研究人员发现并缓解其 LLM A···

llm-self-correction-papers 开源 免费 仅开源

一页看尽LLM自我纠正论文，快速跟上研究热点

这是一个关于大语言模型（LLM）自我纠正（Self-Correction）方向的论文列表项目，旨在系统收集和整···

Awesome-MLLM-Uncertainty 开源 免费 仅开源

一页看尽多模态模型不确定性研究，快速定位关键论文

这是一个精选多模态大语言模型（MLLM）不确定性研究论文的列表项目，旨在系统梳理该领域的最新进展···

open-rag-eval 开源 免费 仅开源

免标注黄金答案，自动评估RAG检索与生成质量

open-rag-eval 是一个用于评估检索增强生成（RAG）系统的开源工具，核心特点是无需人工标注的“黄金···

awesome-direct-preference-optimizati··· 开源 免费 仅开源

一网打尽DPO论文与代码，快速入门偏好对齐

这是一个关于直接偏好优化（Direct Preference Optimization, DPO）的精选资源列表，旨在系统梳理该···

UltraEval-Audio 开源 免费 仅开源

一站式音频模型评测，快速对比知己知彼

UltraEval-Audio 是一个面向音频领域的统一评测基准框架，旨在为 ASR（语音识别）、TTS（语音合成）···