评测安全

lighteval 开源 免费 仅开源

一套配置，多后端跑分，模型对比不再各说各话

Lighteval 是 Hugging Face 推出的开源大模型评测工具包，目标是用一套统一接口在多个推理后端上跑···

oss-fuzz-gen 开源 免费 仅开源

用大模型自动写模糊测试，一键发现代码漏洞

oss-fuzz-gen 是一个利用大语言模型（LLM）自动生成模糊测试用例的开源工具，基于 OSS-Fuzz 生态构···

ollama-benchmark 开源 可打开

一键测本地大模型吞吐，选模型不靠猜

ollama-benchmark 是一个面向本地大模型（通过 Ollama 运行）的吞吐量基准测试工具。它解决的核心问···

eva 开源 免费 仅开源

给肿瘤AI模型打分，让对比评测不再抓瞎

eva 是一个面向肿瘤学基础模型的评估框架，旨在系统化、标准化地评测各类癌症相关AI模型（如病理图···

Awesome-LM-SSP 开源 免费 仅开源

一网打尽大模型安全、隐私攻防的精华资料，快速跟上前沿。

Awesome-LM-SSP 是一个聚焦大模型安全、隐私与可信度的精选阅读清单，收录了相关论文、工具、数据集···

foundation-model-benchmarking-tool 开源 免费 仅开源

在 AWS 上跑任意模型，一键测出性能选型最优解

这是一个用于基础模型（大模型）基准测试的开源工具，旨在帮助用户在 AWS 云平台上运行任意模型，并···

awesome-data-contamination 开源 免费 仅开源

查论文，避坑LLM评估数据污染

这是一个关于大语言模型评估中数据污染问题的论文列表项目。数据污染指预训练数据中混入下游评估测···

TravelPlanner 开源 免费 可打开

测测你的AI会不会做旅行攻略，一测便知规划能力

TravelPlanner 是一个面向语言智能体的真实世界规划基准测试集，由 ICML'24 Spotlight 论文提出。它···

ollama-grid-search 开源 免费 仅开源

本地 Ollama 模型批量跑评测，网格对比一键出结果

ollama-grid-search 是一个基于 Rust 和 React 构建的跨平台桌面应用，专门用于对本地 Ollama 模型···

TrustLLM 开源 免费 仅开源

给大模型做全面体检，量化可信度短板

TrustLLM 是一个针对大语言模型可信度的系统性研究项目，源自 ICML 2024 论文。它定义了一个包含真···

ps-fuzz 开源 可打开

自动模糊测试系统提示词，找出越狱漏洞并加固

ps-fuzz 是一个面向生成式 AI 应用的安全测试与加固工具，核心目标是帮助开发者检测并强化系统提示···

awesome-llm-interpretability 开源 免费 仅开源

一页看全大模型可解释性论文与工具

这是一个聚焦大语言模型可解释性研究的资源清单项目，以 awesome-list 形式系统整理该领域的论文、···

VIEScore 开源 免费 仅开源

用视觉指令让AI解释图像生成好坏，评估不再黑盒。

VIEScore 是一个面向条件图像合成评估的可解释性指标框架，源自 ACL 2024 论文。它解决传统图像生成···

uncheatable_eval 开源 免费 仅开源

用最新网络数据动态出题，防止模型背答案刷分

uncheatable_eval 是一个面向大语言模型评测的开源工具，核心思路是用动态数据来防止评测集泄露导致···

PyRIT 开源 免费 仅开源

像红队一样自动攻击自家大模型，提前挖出安全漏洞

PyRIT 是微软开源的生成式 AI 风险识别工具，面向安全工程师和红队人员，用于主动发现大模型与生成···

continuous-eval 开源 免费 仅开源

让 LLM 应用效果可量化，用数据驱动迭代优化

continuous-eval 是一个面向 LLM 应用的、数据驱动的评估工具。它解决的是 LLM 应用在开发迭代过程···

evalscope 开源 免费 仅开源

一键评测大模型，性能基准轻松跑

evalscope 是一个面向大语言模型（LLM）、视觉语言模型（VLM）和生成式 AI（AIGC）的评估与性能基准···

PurpleLlama 开源 免费 仅开源

给大模型装上安全护栏，评测+拦截一步到位

PurpleLlama 是 Meta 开源的一套 LLM 安全评估与加固工具集，主要解决大模型在部署前后缺乏系统化安···

SafeGen_CCS2024 开源 免费 仅开源

给文生图模型加安全锁，推理时自动过滤违规内容

SafeGen 是发表于 CCS 2024 的学术项目，旨在缓解文本到图像模型生成不安全内容的问题。它针对当前···

guardrail 开源 免费 仅开源

用 GPT 快速做情感分析和内容审核

GuardRail 是一个基于 OpenAI GPT 模型的数据分析与内容生成工具，主要面向内容审核、客户支持和市···

VLMEvalKit 开源 免费 仅开源

一键评测 220+ 多模态模型，秒出对比报告

VLMEvalKit 是一个开源的大语言多模态模型（LMMs）评估工具包，旨在解决多模态模型评测标准不统一、···

OPERA 开源 免费 仅开源

给多模态大模型装上防幻觉刹车，生成更可靠

OPERA是一个针对多模态大语言模型幻觉问题的开源工具，源自CVPR 2024 Highlight论文。它通过过度信···

safe-clip 开源 免费 仅开源

给 CLIP 模型装上安全阀，自动过滤 NSFW 内容

Safe-CLIP 是一个针对视觉-语言模型的安全增强工具，主要解决 CLIP 类模型在图像生成和检索任务中可···

VBench 开源 免费 仅开源

给视频生成模型打分，16个维度看清谁强谁弱

VBench 是一个专为视频生成模型设计的综合评估基准，由 CVPR 2024 Highlight 论文提出。它解决了视···