评测安全

Awesome-Deepfake-Generation-and-Dete··· 开源 免费 仅开源

一页看懂Deepfake攻防全图谱，找论文、查代码、跟前沿。

这是一个关于深度伪造（Deepfake）生成与检测的综述性资源列表，对应CSUR 2026论文。项目系统梳理了···

long-form-factuality 开源 免费 仅开源

测出大模型长篇回答里有多少真话

这是一个用于评估大语言模型长文本事实性（long-form factuality）的基准测试工具，来自论文《Long···

BrainBench 开源 免费 仅开源

用神经科学实验预测题，测出AI比专家更懂科研

BrainBench 是论文《Large language models surpass human experts in predicting neuroscience re···

llm-colosseum 开源 免费 仅开源

让大模型打街霸，用对战胜负测实力

llm-colosseum 是一个通过让大语言模型在《街头霸王3》中互相对战来评估其能力的开源基准测试项目。···

AwesomeLLM4APR 开源 免费 仅开源

一页看尽大模型修Bug研究全景，快速入门与选题

AwesomeLLM4APR 是一个围绕“大语言模型用于自动化程序修复”的精选资源列表，并配套一篇发表于 TO···

content-debiased-fvd 开源 免费 仅开源

让视频生成评估更公平，去除内容偏差的FVD指标

content-debiased-fvd 是 CVPR 2024 论文《On the Content Bias in Fréchet Video Distance》的官···

LLM-IR-Bias-Fairness-Survey 开源 免费 仅开源

一库看懂LLM做搜索时的偏见与公平坑

本项目是《大语言模型在信息检索中的偏见与公平性》综述的配套资源库，系统梳理了LLM应用于搜索、推···

Awesome-Evaluation-of-Visual-Generat··· 开源 免费 仅开源

一页看懂视觉生成模型怎么评测，省去翻论文的麻烦

这是一个聚焦视觉生成模型评测领域的精选资源列表，系统整理了相关的评估指标、评估模型和评估系统···

Awesome-LVLM-Hallucination 开源 免费 仅开源

一站式追踪大模型视觉幻觉研究前沿

这是一个持续更新的精选列表，汇总了大型视觉语言模型（LVLM）幻觉研究的最新论文、资源和相关工作···

empirical 开源 免费 仅开源

用数据说话，系统化测试评估你的 LLM 应用

empirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用···

fast-llm-security-guardrails 开源 可打开

给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露

fast-llm-security-guardrails 是一个面向 AI Agent 的快速安全防护层（Trust Layer），旨在解决 L···

ZORG-Jailbreak-Prompt-Text 开源 免费 仅开源

一键绕过AI审查，解锁聊天机器人的隐藏回答

ZORG-Jailbreak-Prompt-Text 是一个专注于 AI 对话越狱提示词的开源项目，旨在帮助用户绕过 ChatGP···

lmms-eval 开源 免费 仅开源

一套工具搞定文本/图像/视频/音频模型评测，结果可复现

lmms-eval 是一个面向多模态大模型的一站式评测工具包，支持文本、图像、视频和音频任务的统一评估···

Awesome-RAG-Evaluation 开源 免费 仅开源

一张图看懂 RAG 系统该怎么评测

Awesome-RAG-Evaluation 是论文《Evaluation of Retrieval-Augmented Generation: A Survey》的官方···

raga-llm-hub 开源 免费 仅开源

一站式搞定 LLM 评估、防护与安全，让上线更放心

raga-llm-hub 是一个用于大语言模型（LLM）评估、防护栏（guardrails）和安全的开源框架，基于 Pyt···

agentdojo 开源 免费 仅开源

搭建 LLM 智能体攻防演练场，量化安全风险

agentdojo 是一个用于评估 LLM 智能体攻击与防御的动态环境。它解决的核心问题是：随着 LLM 智能体···

rag-arena 开源 已失效

让用户投票，选出最好的 RAG 系统

rag-arena 是一个开源的 RAG（检索增强生成）评估平台，核心思路是通过真实用户的反馈来评估和比较···

PoisonedRAG 开源 免费 仅开源

看穿 RAG 软肋：用知识投毒测试你的大模型防线

PoisonedRAG 是 USENIX Security 2025 收录的研究项目，专注于揭示检索增强生成（RAG）系统中的知识···

VLGuard 开源 免费 仅开源

给视觉大模型加安全锁，几乎零成本防恶意图片诱导

VLGuard是一个针对视觉大语言模型（VLLMs）的安全微调基线项目，发表于ICML 2024。它解决的是VLLMs···

EasyJailbreak 开源 免费 已失效

一键生成越狱提示词，快速测评大模型安全防线

EasyJailbreak 是一个易用的 Python 框架，用于生成对抗性越狱提示词，以评估和提升大语言模型的安···

stable-audio-metrics 开源 免费 仅开源

给音乐生成模型打分的客观指标工具箱

stable-audio-metrics 是 Stability AI 开源的音频生成模型评测工具集，专门针对音乐与音频生成任务···

rageval 开源 免费 仅开源

给RAG系统打分，快速找出效果短板

rageval 是一个面向检索增强生成（RAG）方法的评估工具库，旨在解决 RAG 系统效果难以量化、评测标···

LLM-Agent-Benchmark-List 开源 免费 仅开源

一站式查找 LLM 智能体评估基准，省去全网搜索时间

LLM-Agent-Benchmark-List 是一个专门收集和整理大语言模型（LLM）智能体（Agent）评估基准（Bench···

CRUD_RAG 开源 免费 仅开源

测一测你的RAG系统，中文场景下到底行不行

CRUD-RAG 是一个专为中文检索增强生成（RAG）技术设计的综合评测基准。它针对大语言模型在知识密集···