评测安全

VelLMes-AI-Deception-Framework 开源 免费 仅开源

用AI伪装成AI，让攻击者自投罗网

VelLMes 是一个构建交互式、动态且逼真的 LLM 蜜罐的开源框架，旨在通过部署伪装成真实 AI 服务的诱···

AdvUnlearn 开源 免费 仅开源

对抗训练让概念擦除更抗攻击，生成更安全

AdvUnlearn 是 NeurIPS'24 论文《Defensive Unlearning with Adversarial Training for Robust Con···

MisguidedAttention 开源 免费 仅开源

用误导性提示词，测出大模型推理的短板

MisguidedAttention 是一个专门用于挑战大语言模型推理能力的提示词集合，旨在测试模型在面对误导性···

xFinder 开源 免费 仅开源

用AI自动评估AI，让模型评测更可靠、更省力

xFinder是一个用于大语言模型评估的自动化评测框架，核心思路是让LLM本身充当评估器，以替代传统的···

MarkLLM 开源 免费 仅开源

给AI文本打上隐形烙印，一键识别机器生成内容

MarkLLM 是一个面向大语言模型（LLM）水印技术的开源工具包，在 EMNLP 2024 上作为 Demo 发布。它旨···

awesome-security-for-ai 开源 免费 仅开源

一站式导航AI安全工具，快速选型不踩坑

这是一个精选列表，收录了用于保护AI系统安全的产品与资源，涵盖开源和商业方案，并附带一张采用CC···

fusion_bench 开源 免费 仅开源

一站式评估和实现深度模型融合，快速对比多种融合算法效果

FusionBench 是一个专注于深度模型融合的综合性基准测试与工具包。它解决了深度学习领域中多个独立···

S-Eval 开源 免费 仅开源

一键自动化评估大模型安全，覆盖多风险场景

S-Eval 是一个面向大型语言模型（LLM）的自动化、综合性安全评估框架。它旨在解决当前 LLM 安全评估···

crab 开源 免费 仅开源

跨环境测试你的AI智能体，看它真实干活行不行

CRAB 是一个面向多模态语言模型智能体的跨环境基准测试框架，由 CAMEL-AI 团队开发。它旨在解决当前···

bergen 开源 免费 仅开源

给RAG系统做体检，量化对比谁更强

bergen 是一个专注于 RAG（检索增强生成）系统的基准测试库。它解决了 RAG 应用开发中缺乏标准化评···

LLM-for-misinformation-research 开源 免费 仅开源

一键速览大模型打假研究全景，找论文不迷路

这是一个关于利用（多模态）大语言模型进行 misinformation（错误信息）研究的论文列表项目。它系统···

HacxGPT-Jailbreak-prompts 开源 免费 仅开源

一键解锁 AI 模型隐藏能力，突破限制自由对话

HacxGPT-Jailbreak-prompts 是一个专门收集和分享 AI 模型越狱提示词（Jailbreak prompts）的开源项···

CS-Eval 开源 免费 仅开源

给网络安全大模型打分，快速找出安全能力短板

CS-Eval 是一个专为网络安全领域基础模型或大语言模型设计的综合评估套件。它解决的核心问题是：当···

seismometer 开源 免费 仅开源

在 Notebook 里做医疗 AI 模型的分组评测与可视化

seismometer 是一个面向医疗健康场景的 AI 模型评测工具，以 Jupyter Notebook 为主要形态，帮助研···

awesome-ai-leaderboard 开源 免费 已失效

一榜在手，AI模型强弱全看透

这是一个精选AI领域排行榜资源的开源列表，旨在帮助开发者、研究者和产品经理快速找到各类AI模型、···

bigcodebench 开源 免费 可打开

用真实编程难题，测出大模型代码能力的真实天花板

BigCodeBench 是一个面向代码生成任务的基准测试框架，旨在评估和推动大语言模型在真实编程场景中的···

awesome-language-model-analysis 开源 免费 可打开

一份论文清单，帮你快速摸清大模型分析的研究脉络。

这是一个聚焦大语言模型（LLM）理论与实证分析的论文清单项目。它系统整理了关于语言模型学习行为、···

prometheus-eval 开源 免费 仅开源

用 Prometheus 或 GPT-4 自动给 LLM 回复打分，快速筛选最佳模型。

Prometheus-Eval 是一个用于评估大语言模型（LLM）回复质量的工具，基于 Prometheus 模型和 GPT-4 ···

agentic_security 开源 已失效

给大模型应用做安全体检，自动发现漏洞并生成报告

Agentic Security 是一个面向 LLM 应用的漏洞扫描与 AI 红队工具包。它解决的是大模型应用上线前的···

L1B3RT4S 开源 免费 仅开源

玩转 AI 提示词，用幽默解锁创意交互

L1B3RT4S 是一个以幽默和反讽方式呈现的提示词集合项目，旨在通过戏仿“越狱”提示词的形式，展示 ···

VisualWebBench 开源 免费 仅开源

测一测多模态大模型在真实网页上有多能打

VisualWebBench 是一个针对多模态大语言模型（MLLMs）在网页理解与定位（Grounding）任务上的评估框···

LLMEvaluation 开源 免费 可打开

选对 LLM 评测方法，少走弯路

LLMEvaluation 是一份面向大语言模型评测方法的系统性指南，以 HTML 文档形式组织，目标是帮助开发···

MMStar 开源 免费 仅开源

更公平地测出大模型真实视觉能力，避免作弊分

MMStar 是一个用于评估大型视觉语言模型（LVLMs）的基准测试工具，源自 NeurIPS 2024 论文。它解决···

awesome-llm-unlearning 开源 免费 仅开源

一站式收藏大模型遗忘研究资源，快速上手知识擦除

这是一个关于大语言模型机器遗忘（Machine Unlearning）的资源列表仓库，旨在系统整理该领域的前沿···