评测安全

anonymeter 开源

合成数据上线前，用 GDPR 视角量化隐私泄露风险

anonymeter 是一个专注于量化合成数据隐私风险的开源框架，依据欧盟 GDPR 法规设计。它解决的核心问···

DS-1000 开源

用真实数据科学题测出大模型写代码的真实水平

DS-1000 是一个面向数据科学场景的代码生成基准测试集，由 ICML 2023 论文团队发布。它包含 1000 个···

uptrain 开源

给 LLM 应用打分找茬，快速定位并修复质量问题。

UpTrain 是一个开源的统一平台，用于评估和改进生成式 AI 应用。它提供 20 多种预配置检查项，覆盖···

Awesome-LLM-Reasoning 开源

一份清单，看懂 LLM 推理从 CoT 到 o1 的进化史

Awesome-LLM-Reasoning 是一个精心整理的资源列表，聚焦于大语言模型（LLM）的推理能力，覆盖从经典···

Rickrolling-the-Artist 开源

给AI画师下毒：一句触发词，让模型输出指定图像

这是一个针对文本引导图像生成模型（如Stable Diffusion）的后门攻击研究项目，源自ICCV 2023论文。···

photoguard 开源

给图片加“免疫”，让AI改不动你的图

PhotoGuard是一个旨在防御恶意AI图像编辑的开源项目，由MIT的研究人员开发。它通过给图像添加难以察···

PromptInject 开源

模块化组装提示词，量化评估LLM对抗攻击的鲁棒性。

PromptInject 是一个用于评估大型语言模型（LLM）对对抗性提示攻击鲁棒性的开源框架。它通过模块化···

daam 开源

看透Stable Diffusion：让每个词在生成图像中的影响一目了然

DAAM（Diffusion Attentive Attribution Maps）是一个用于解释Stable Diffusion模型内部机制的可解···

encord-active 开源

用主动学习挑出最有价值的标注数据，让模型迭代更快更省

encord-active 是一个用于模型测试、验证与评估的开源工具包，旨在帮助机器学习团队高效管理数据标···

robustness-foundation-models 开源

动手复现大模型鲁棒性实验，看清AI脆弱点

本项目是NeurIPS 2022教程《基础模型的根基鲁棒性》的官方配套代码库，由亚马逊云科技等机构的研究···

diffusers-interpret 开源

给扩散模型生成图像做“X光”，看清AI为何这么画

Diffusers-Interpret 是一个面向 Hugging Face Diffusers 模型的可解释性工具库，旨在帮助开发者和···

botsim 开源

自动仿真对话，快速揪出聊天机器人短板

BotSIM 是一个面向商业聊天机器人的端到端仿真测试工具包，旨在帮助开发者高效评估、诊断和优化对话···

power-pwn 开源

给 AI 助手做安全体检，防黑客钻空子

power-pwn 是一个针对 AI Agent 的攻防安全工具集，主要用于发现、侦察和道德评估各类 AI 助手的安···

faster_coco_eval 开源

替换 pycocotools，COCO 评测提速数倍不丢精度

faster_coco_eval 是已废弃项目 fast-coco-eval 的延续维护版本，用 Python 重写并加速了 COCO 数据···

awesome-ml-monitoring 开源

找ML监控工具，看这个清单就够了

这是一个精选列表，汇总了用于监控数据质量、监控模型性能和分析数据的开源工具及商业产品。它解决···

evaluate 开源

一行代码加载指标，快速评测模型效果

Evaluate 是 Hugging Face 推出的机器学习评估库，用于统一、便捷地评测模型与数据集。它把常见指标···

frouros 开源

实时监控模型漂移，提前预警性能下降

Frouros 是一个开源的 Python 库，专门用于机器学习系统中的漂移检测。它解决的是模型上线后因数据···

giskard-oss 开源

给 LLM 应用做全面质检，上线前自动揪出漏洞和偏见

Giskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统···

DallEval 开源

测出文生图模型的推理短板与偏见，优化生成质量

DallEval 是一个用于评估文本到图像生成模型的推理能力与社会偏见的开源项目，源自 ICCV 2023 论文···

nannyml 开源

模型上线后，用 nannyml 自动盯漂移和性能，提前报警

nannyml 是一个用于机器学习模型部署后监控的 Python 库。它解决的是模型上线后性能下降、数据漂移···

helm 开源

一站式跑分对比大模型，多维度评测可复现

HELM 是斯坦福 CRFM 团队开源的 Python 评测框架，用于对大语言模型和多模态基础模型做全面、可复现···

deepchecks 开源

给 ML 模型和数据做全面体检，从研究到生产持续验证

Deepchecks 是一个面向机器学习模型与数据的持续验证开源测试框架，覆盖从研究到生产的全流程。它解···

inseq 开源

一键透视生成模型，看透每个 token 的决策依据

inseq 是一个用于序列生成模型的可解释性工具库，专注于帮助研究者和开发者理解 LLM 等生成式模型在···

AwesomeResponsibleAI 开源

一站式导航，快速找到负责任 AI 的权威资源与工具。

AwesomeResponsibleAI 是一个精选资源列表，汇集了与负责任、可信赖和以人为本的 AI 相关的学术研究···