评测安全

Machine_Learning_CTF_Challenges 开源

实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用

这是一个面向AI/ML安全的CTF挑战集合，旨在通过实战演练帮助安全研究者和开发者理解并攻击AI应用。···

ai-privacy-toolkit 开源

给 AI 模型做隐私体检，快速发现合规风险

ai-privacy-toolkit 是一个面向 AI 模型隐私与合规的 Python 工具包，旨在帮助开发者和企业在使用 ···

clean-fid 开源

让 FID 分数更可信，生成模型评估不踩坑

clean-fid 是一个用于计算 FID（Frechet Inception Distance）分数的 PyTorch 工具库，由 CVPR 202···

beir 开源

一个平台，跑遍15+检索数据集，看清模型真实力。

BEIR是一个异构信息检索基准测试平台，旨在解决IR模型评估碎片化的问题。它整合了超过15个多样化的···

superbenchmark 开源

一键体检 AI 集群，跑分定位硬件瓶颈

SuperBenchmark 是微软开源的 AI 基础设施验证与性能分析工具，面向 GPU 集群、云上 AI 算力平台和···

trulens 开源

给LLM应用装上仪表盘，量化评估效果，快速定位问题。

TruLens 是一个面向 LLM 实验和 AI Agent 的评估与追踪工具，旨在解决大模型应用开发中‘效果难衡量···

fake-news 开源

手把手教你从零搭一个假新闻检测模型并上线部署

这是一个从零构建假新闻检测器的开源项目，覆盖从想法到模型部署的完整流程。项目以Jupyter Notebo···

PySODEvalToolkit 开源

一行命令批量算齐 SOD/COD 全部指标

PySODEvalToolkit 是一个基于 Python 的显著性目标检测（SOD）与伪装目标检测（COD）评测工具箱。该···

Viper 开源

用AI驱动红队演练，自动化攻击模拟，提升渗透效率

Viper 是一个面向红队与 adversary simulation 的开源平台，核心是将 AI 能力注入攻击模拟流程，帮···

AICompare 开源

一键同时打开多个 AI 站点，对比回答效率翻倍

AICompare 是一个极简的浏览器工具，通过一键操作同时打开多个主流 AI 对话站点（如 ChatGPT、Clau···

semantic-object-accuracy-for-generat··· 开源

评估生成图像中对象是否画对了，给文本到图像模型打分。

这是一个用于生成式文本到图像合成任务的语义对象准确率评估工具，对应TPAMI 2020论文。它解决的是···

www-project-machine-learning-securit··· 开源

给机器学习系统做安全体检，照着清单防十大风险。

OWASP机器学习安全十大风险项目，旨在为机器学习系统提供安全风险清单和缓解指南。它借鉴OWASP Top···

dialog-eval 开源

17个指标一键评估你的对话模型，告别人工打分。

dialog-eval 是一个用于评估对话模型的 Python 库，提供 17 种自动化评估指标，覆盖流畅性、相关性···

NISQA 开源

无参考也能给语音质量打分，TTS自然度一测便知

NISQA是一个基于深度学习的非侵入式语音质量与TTS自然度评估工具。它解决了传统语音质量评估需要原···

Object-Detection-Metrics 开源

一键计算目标检测的 mAP，公平对比模型性能

Object-Detection-Metrics 是一个用于评估目标检测算法性能的 Python 工具库，主要实现了 PASCAL V···

presidio 开源

一键检测并脱敏文本/图片中的敏感信息，守护数据隐私合规。

Presidio 是一个开源的敏感数据检测与匿名化框架，用于在文本、图像和结构化数据中识别、脱敏、遮蔽···

botium-core 开源

像用 Selenium 测网页一样，自动化测试你的聊天机器人

Botium Core 是一个用于聊天机器人测试的自动化框架，常被称为“聊天机器人的 Selenium”。它解决的···

pytorch-grad-cam 开源

一键生成热力图，看清 AI 模型到底在看哪里

pytorch-grad-cam 是一个用于计算机视觉模型可解释性的高级工具库，基于 PyTorch 实现 Grad-CAM 及···