评测安全

EasyJailbreak 开源

一键生成越狱提示词，快速测评大模型安全防线

EasyJailbreak 是一个易用的 Python 框架，用于生成对抗性越狱提示词，以评估和提升大语言模型的安···

rageval 开源

给RAG系统打分，快速找出效果短板

rageval 是一个面向检索增强生成（RAG）方法的评估工具库，旨在解决 RAG 系统效果难以量化、评测标···

LLM-Agent-Benchmark-List 开源

一站式查找 LLM 智能体评估基准，省去全网搜索时间

LLM-Agent-Benchmark-List 是一个专门收集和整理大语言模型（LLM）智能体（Agent）评估基准（Bench···

CRUD_RAG 开源

测一测你的RAG系统，中文场景下到底行不行

CRUD-RAG 是一个专为中文检索增强生成（RAG）技术设计的综合评测基准。它针对大语言模型在知识密集···

oss-fuzz-gen 开源

用大模型自动写模糊测试，一键发现代码漏洞

oss-fuzz-gen 是一个利用大语言模型（LLM）自动生成模糊测试用例的开源工具，基于 OSS-Fuzz 生态构···

ollama-benchmark 开源

一键测本地大模型吞吐，选模型不靠猜

ollama-benchmark 是一个面向本地大模型（通过 Ollama 运行）的吞吐量基准测试工具。它解决的核心问···

eva 开源

给肿瘤AI模型打分，让对比评测不再抓瞎

eva 是一个面向肿瘤学基础模型的评估框架，旨在系统化、标准化地评测各类癌症相关AI模型（如病理图···

Awesome-LM-SSP 开源

一网打尽大模型安全、隐私攻防的精华资料，快速跟上前沿。

Awesome-LM-SSP 是一个聚焦大模型安全、隐私与可信度的精选阅读清单，收录了相关论文、工具、数据集···

foundation-model-benchmarking-tool 开源

在 AWS 上跑任意模型，一键测出性能选型最优解

这是一个用于基础模型（大模型）基准测试的开源工具，旨在帮助用户在 AWS 云平台上运行任意模型，并···

awesome-data-contamination 开源

查论文，避坑LLM评估数据污染

这是一个关于大语言模型评估中数据污染问题的论文列表项目。数据污染指预训练数据中混入下游评估测···

TravelPlanner 开源

测测你的AI会不会做旅行攻略，一测便知规划能力

TravelPlanner 是一个面向语言智能体的真实世界规划基准测试集，由 ICML'24 Spotlight 论文提出。它···

ollama-grid-search 开源

本地 Ollama 模型批量跑评测，网格对比一键出结果

ollama-grid-search 是一个基于 Rust 和 React 构建的跨平台桌面应用，专门用于对本地 Ollama 模型···

TrustLLM 开源

给大模型做全面体检，量化可信度短板

TrustLLM 是一个针对大语言模型可信度的系统性研究项目，源自 ICML 2024 论文。它定义了一个包含真···

ps-fuzz 开源

自动模糊测试系统提示词，找出越狱漏洞并加固

ps-fuzz 是一个面向生成式 AI 应用的安全测试与加固工具，核心目标是帮助开发者检测并强化系统提示···

VIEScore 开源

用视觉指令让AI解释图像生成好坏，评估不再黑盒。

VIEScore 是一个面向条件图像合成评估的可解释性指标框架，源自 ACL 2024 论文。它解决传统图像生成···

continuous-eval 开源

让 LLM 应用效果可量化，用数据驱动迭代优化

continuous-eval 是一个面向 LLM 应用的、数据驱动的评估工具。它解决的是 LLM 应用在开发迭代过程···

evalscope 开源

一键评测大模型，性能基准轻松跑

evalscope 是一个面向大语言模型（LLM）、视觉语言模型（VLM）和生成式 AI（AIGC）的评估与性能基准···

PurpleLlama 开源

给大模型装上安全护栏，评测+拦截一步到位

PurpleLlama 是 Meta 开源的一套 LLM 安全评估与加固工具集，主要解决大模型在部署前后缺乏系统化安···

SafeGen_CCS2024 开源

给文生图模型加安全锁，推理时自动过滤违规内容

SafeGen 是发表于 CCS 2024 的学术项目，旨在缓解文本到图像模型生成不安全内容的问题。它针对当前···

guardrail 开源

用 GPT 快速做情感分析和内容审核

GuardRail 是一个基于 OpenAI GPT 模型的数据分析与内容生成工具，主要面向内容审核、客户支持和市···

VLMEvalKit 开源

一键评测 220+ 多模态模型，秒出对比报告

VLMEvalKit 是一个开源的大语言多模态模型（LMMs）评估工具包，旨在解决多模态模型评测标准不统一、···

OPERA 开源

给多模态大模型装上防幻觉刹车，生成更可靠

OPERA是一个针对多模态大语言模型幻觉问题的开源工具，源自CVPR 2024 Highlight论文。它通过过度信···

safe-clip 开源

给 CLIP 模型装上安全阀，自动过滤 NSFW 内容

Safe-CLIP 是一个针对视觉-语言模型的安全增强工具，主要解决 CLIP 类模型在图像生成和检索任务中可···

VBench 开源

给视频生成模型打分，16个维度看清谁强谁弱

VBench 是一个专为视频生成模型设计的综合评估基准，由 CVPR 2024 Highlight 论文提出。它解决了视···