TrustEval-toolkit

一键评估生成模型可信度，量化风险更安心

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 11 🐛 待处理 2 👀 关注 1
GitHub ↗
GitHub 星标 ★ 136
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源工具包，完全免费，无付费版本。

项目预览

TrustEval-toolkit 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队TrustGen
GitHubhttps://github.com/TrustGen/TrustEval-toolkit
定价模式🏷️完全免费
价格说明开源工具包，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型deep-learning,evaluation,generative-ai,llm,machine-learning,text-to-image,toolkit,trustworthy-ai,vlm
GitHub 星标★ 136
上线时间2024-12-16 00:00:00
代码更新2026-10-20
仓库体积118.9 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数3

项目介绍

TrustEval-toolkit 是一个用于评估生成式基础模型可信度的开源工具包和基准测试集，相关论文已被 ICLR'26 和 NAACL'25 Demo 接收。它主要解决生成式 AI（如文本到图像模型、多模态大模型）在安全性和可信度方面缺乏统一评估标准的问题。核心能力包括提供标准化的评估流程、覆盖多种可信度维度（如偏见、有害内容、隐私等）的基准测试，以及易于集成的 Python 接口。该工具包支持深度学习模型，特别关注文本到图像和视觉语言模型，帮助研究者和开发者量化模型风险，从而改进模型安全。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 136

核心亮点

  • 提供标准化可信度基准，覆盖偏见、有害内容等多维度
  • 支持文本到图像和视觉语言模型，紧跟生成式AI热点
  • 论文被顶级会议接收，方法论有学术背书

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 评估维度可能不够全面，需自行扩展

适用场景

  • 科研机构对比不同生成模型的安全性能
  • AI企业上线前对模型进行可信度合规检查
  • 开发者评估第三方生成模型的潜在风险

替代项目

TrustLLM、DecodingTrust、Holistic Evaluation of Language Models (HELM)

上一篇：SafeGen_CCS2024

下一篇：DSG

同类项目推荐

CipherChat 开源

用密码绕过安全护栏，测出大模型隐藏漏洞

A framework to evaluate the generalization capability of safety alignment for LLMs

★ 628 2026-08-09
auto_eval 开源

让机器人策略评估全自动，省时省力又客观

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Rea···

★ 108 2026-08-09
Jailbreak-Foundry 开源

把越狱论文变成可跑的攻击测试，实时更新基准

A system that turns jailbreak papers into runnable attacks and benchmarks — live, a···

★ 174 2026-08-10
grim-prompter 开源

把 AI 代理指向代码库，自动产出可追溯威胁模型

Threat modeling for AI coding agents: point Claude Code, Codex or any agent at your ···

★ 400 2026-11-05
leva 开源

用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋

LLM Evaluation Framework for Rails apps to be used with production data.

★ 148 2026-09-25
datafog-python 开源

给 AI 应用装个本地隐私闸门，敏感信息不出门。

Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···

★ 80 2026-08-09
AgentHound 开源

像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。

Offensive security framework for AI agent infrastructure - recon, credential looting···

★ 462 2026-08-09
openguardrails 开源

给 AI Agent 加本地规则、沙箱和网络管控三道闸

AI agent guardrails for every builder. Local rules, a sandbox and a firewall for you···

★ 363 2026-11-07