评测安全

uqlm 开源 免费 仅开源

量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。

UQLM 是一个专注于大语言模型（LLM）不确定性量化的 Python 包，源自 JMLR 2026 论文。它解决的核心···

CVPR_2025_Oral_Paper_List 开源 免费 仅开源

一键速览CVPR 2025 Oral论文，紧跟视觉前沿

这是一个精选的CVPR 2025 Oral论文清单，共收录96篇论文。它解决了计算机视觉领域研究者难以快速获···

vitest-evals 开源 免费 仅开源

用 Vitest 写 LLM 评测，像跑单测一样跑模型回归

vitest-evals 是一个把大模型评测（evals）直接嵌入 Vitest 测试框架的 TypeScript 扩展。它解决的···

openai-guardrails-python 开源 免费 仅开源

给 LLM 应用加一层安全护栏，自动拦截违规输入输出

openai-guardrails-python 是 OpenAI 官方开源的 Python 安全护栏库，用于在 LLM 应用中检测和拦截···

agent-scan 开源 免费 仅开源

扫一遍 Agent 和 MCP 配置，提前揪出权限与注入风险

agent-scan 是一款面向 AI Agent 生态的安全扫描器，主要针对 AI 智能体、MCP（Model Context Prot···

benchmark-qed 开源 免费 仅开源

自动跑分 RAG 系统，选型调参不再拍脑袋

benchmark-qed 是一个面向 RAG（检索增强生成）系统的自动化基准测试工具，用 Python 编写。它要解···

heurigym 开源 免费 仅开源

用 LLM 设计优化算法，一键评测智能体启发式能力

heurigym 是一个面向组合优化问题的智能体基准测试框架，由 ICLR'26 论文提出。它专门评估大型语言···

compute-eval 开源 免费 仅开源

用真实编译运行测大模型写 CUDA 代码行不行

ComputeEval 是一个专门用于评测大语言模型生成 CUDA 代码能力的开源框架。它解决的核心问题是：现···

cai 开源 免费 仅开源

给AI穿上防弹衣，让安全模型扛住攻击

CAI（Cybersecurity AI）是一个面向AI安全领域的开源框架，旨在为网络安全场景提供标准化的人工智能···

Eval 开源 可打开

并行跑 LLM 评测，速度提升最高 17 倍

Eval 是一个面向大语言模型的高性能评测框架，核心卖点是并行 API 调用，官方宣称比顺序执行的评测···

frontier-evals 开源 免费 仅开源

用统一标准跑分，快速对比前沿模型真实能力

frontier-evals 是 OpenAI 开源的评测框架，用于系统化评估前沿 AI 模型在真实任务中的表现。它解决···

xVerify 开源 免费 仅开源

快速验证推理模型答案，让评估更省钱省时。

xVerify 是一个面向推理模型的高效答案验证器，专门用于评估 LLM 在数学等推理任务上的表现。它解决···

auto_eval 开源 免费 仅开源

让机器人策略评估全自动，省时省力又客观

AutoEval 是一个针对通用机器人操作策略的自动化评估框架，源自 CoRL 2025 论文。它解决的是在真实···

geobench 开源 免费 可打开

用 GeoGuessr 游戏场景，测出 AI 的地理定位智商。

geobench 是一个专门为语言模型设计的 GeoGuessr 基准测试工具，旨在评估 AI 模型在地理定位和空间···

Awesome-Anomaly-Detection-Foundation··· 开源 免费 仅开源

一网打尽基础模型做异常检测的前沿资源

这是一个精选列表，汇集了基于基础模型（如大语言模型、视觉-语言模型、图基础模型、时间序列基础模···

pII-guard 开源 免费 仅开源

用 LLM 智能识别日志中的隐私信息，轻松满足 GDPR 合规。

PII Guard 是一个基于大语言模型的工具，用于检测和管理日志中的个人身份信息（PII），旨在支持数据···

svelte-bench 开源 免费 可打开

专测大模型写 Svelte 5 代码行不行

svelte-bench 是一个专门评测大语言模型在 Svelte 5 框架下代码生成能力的基准测试项目，基于 Open···

deepteam 开源 免费+付费 可打开

自动模拟越狱攻击，提前测出 LLM 安全漏洞

DeepTeam 是一个面向大语言模型和 AI Agent 的红队测试框架，用 Python 编写。它要解决的问题是：当···

CL4R1T4S 开源 免费 仅开源

看穿AI底牌，一键获取各大模型系统提示词

这是一个收集并公开各大AI系统（如ChatGPT、Claude、Gemini、Grok、Perplexity、Cursor等）泄露的系···

ClawProBench 开源 免费 仅开源

在真实 OpenClaw 里反复跑 Agent，用确定性打分比出谁更稳

ClawProBench 是一个面向 LLM Agent 的评测基准框架，专门针对 OpenClaw 运行时环境设计。它解决的···

Awesome-Process-Reward-Models 开源 免费 仅开源

一站式索引过程奖励模型论文与代码，快速上手推理监督

Awesome-Process-Reward-Models 是一个面向大语言模型推理过程奖励模型（Process Reward Model, PR···

Static-to-Dynamic-LLMEval 开源 免费 仅开源

动态生成评测样本，防数据污染，测出模型真实力

Static-to-Dynamic-LLMEval 是论文《Recent advances in large language model benchmarks against···

Awesome-MCoT 开源 免费 仅开源

一张图看懂多模态推理研究脉络与代表工作

Awesome-MCoT 是一个面向多模态思维链（Multimodal Chain-of-Thought）推理的系统性综述资源库，以···

Impossible-Videos 开源 免费 可打开

用不可能视频，测出多模态模型的物理常识短板

Impossible-Videos 是 ICML 2025 论文的官方基准与代码库，专注于视频生成与理解中的‘不可能视频’···