评测安全

unitxt 开源

一站式搭建可复现的 AI 评估流水线，告别零散脚本。

Unitxt 是一个面向企业级 AI 性能评估的 Python 库，提供全球最大的工具和数据目录，用于端到端的 ···

promptbench 开源

一套框架，全面测出大模型真实力与弱点

PromptBench 是一个面向大语言模型的统一评估框架，旨在解决当前 LLM 评估碎片化、缺乏标准化的问题···

M3Exam 开源

全球大模型谁更聪明？多语言考卷测出真实力

M3Exam 是一个多语言、多模态、多层次的 LLM 评测基准，提供配套数据与代码，用于全面检验大语言模···

tensor-trust 开源

玩游戏，收集提示注入数据，助力AI安全研究

tensor-trust 是一个用于收集鲁棒机器学习研究数据的提示注入游戏。它通过游戏化的方式，让用户与A···

chinese-llm-benchmark 开源

看中文大模型谁最强，查百万缺陷库避坑

这是一个持续更新的中文AI大模型能力评测项目，旨在为社区提供客观、全面的模型对比参考。它解决了···

Awesome-LLM-Compression 开源

大模型压缩论文与工具一站索引，快速选型落地

这是一个聚焦大语言模型压缩方向的资源合集，系统整理了模型量化、剪枝、知识蒸馏、低秩分解等压缩···

LLMeBench 开源

一键跑分，快速对比各大语言模型效果

LLMeBench 是一个用于基准测试大型语言模型（LLM）的开源工具，旨在标准化评估流程，帮助开发者比较···

AttackVLM 开源

给视觉语言模型找茬，一键测出安全漏洞

AttackVLM 是一个针对视觉语言模型（VLM）的红队攻击工具集，源自 NeurIPS 2023 论文。它提供了一系···

alpaca_eval 开源

自动评估指令跟随模型，快、便宜、且靠谱。

alpaca_eval 是一个用于自动评估指令跟随语言模型的工具。它解决了人工评估成本高、速度慢、难以规···

LLM-KG-Bench 开源

一键评测大模型在知识图谱任务上的表现

LLM-KG-Bench 是一个用于自动化评估大语言模型在知识图谱相关任务上表现的开源框架和任务集合。它解···

awesome-gpt-6-astra 开源

一份清单，带你安全玩转GPT-6 Astra的实战用例与提示词。

这是一个围绕OpenAI GPT-6 Astra（推测为未来或虚构模型）的精选资源列表，旨在为开发者、安全研究···

factualNLG 开源

用新基准测出LLM事实性推理真实水平

factualNLG 是一个用于事实性自然语言生成（NLG）研究的开源项目，对应 arXiv 论文《LLMs as Factu···

safe-rlhf 开源

在强化学习中对齐人类价值观，让AI输出既有用又安全。

Safe RLHF 是一个基于安全强化学习的人类反馈对齐框架，旨在解决大模型价值对齐中的安全问题。传统···

opik 开源

一站式追踪、评估、监控你的 LLM 应用，从调试到上线全程掌控。

Opik 是一个开源的大语言模型（LLM）应用可观测性与评估平台，旨在帮助开发者调试、评估和监控基于···

Multi-Modality-Arena 开源

上传图片，并排对比多模态大模型谁更聪明

Multi-Modality-Arena 是一个基于 Gradio 构建的多模态模型评测平台，灵感来自 Chatbot Arena，但专···

superagent 开源

给 AI 应用装上安全盾，防注入防泄露

Superagent 是一个专注于 AI 应用安全的开源库，主要解决提示注入、数据泄露和有害输出等安全问题。···

garak 开源

给大模型做安全体检，一键扫描漏洞并生成报告

garak 是一个用于检测大语言模型（LLM）漏洞的开源扫描器，由 NVIDIA 团队维护。它通过自动生成大量···

ragas 开源

给 LLM 应用打分，快速定位 RAG 短板

ragas 是一个专注于 LLM 应用评估的开源 Python 框架。它解决的是大语言模型应用（如 RAG 系统、对···

SuperCLUE 开源

测一测中文大模型哪家强，榜单见分晓

SuperCLUE 是一个面向中文通用大模型的综合性评测基准，旨在系统评估基础模型在中文场景下的能力。···

promptfoo 开源

一条命令测试你的提示词和模型，防漏洞防降级。

promptfoo 是一个开源的 LLM 评估与红队测试框架，用于系统化测试提示词、智能体（agents）和 RAG ···

Awesome-LLM-Eval 开源

一站式找全 LLM 评测资源，快速选型不踩坑

Awesome-LLM-Eval 是一个精选资源列表，专注于大语言模型（LLM）的评测领域。它系统性地整理了评测···

optimum-benchmark 开源

一键横评多后端推理性能，选型不靠猜

optimum-benchmark 是 Hugging Face Optimum 生态下的统一多后端基准测试工具，用于对 Transformer···

rebuff 开源

给 LLM 应用加装防注入安全层，拦截恶意提示词

Rebuff 是一个专注于检测和防御大语言模型提示注入攻击的开源工具。它解决的是 LLM 应用面临的安全···

awesome-ai-safety 开源

一站式速查AI安全核心论文，快速入门不迷路

这是一个精心整理的AI安全与质量领域的论文和技术文章列表，旨在为研究人员、工程师和政策制定者提···