一键评估生成模型可信度，量化风险更安心
TrustEval-toolkit 是一个用于评估生成式基础模型可信度的开源工具包和基准测试集，相关论文已被 ICLR'26 和 NAACL'25 Demo 接收。它主要解决生成式 AI（如文本到图像模型、多模态大模型）在安全性和可信度方面缺乏统一评估标准的问题。核心能力包括提供标准化的评估流程、覆盖多种可信度维度（如偏见、有害内容、隐私等）的基准测试，以及易于集成的 Python 接口。该工具包支持深度学习模型，特别关注文本到图像和视觉语言模型，帮助研究者和开发者量化模型风险，从而改进模型安全。
TrustLLM、DecodingTrust、Holistic Evaluation of Language Models (HELM)
TrustEval-toolkit 是评测安全领域的开源项目，由 TrustGen 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 137。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-14。完全免费，无付费版本。
它主要面向的使用场景是：科研机构对比不同生成模型的安全性能。同类可对比的替代方案包括 TrustLLM、DecodingTrust、Holistic Evaluation of Language Models (HELM)。
上一篇：SafeGen_CCS2024
下一篇：DSG
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
