TrustLLM

给大模型做全面体检，量化可信度短板

TrustLLM 是一个针对大语言模型可信度的系统性研究项目，源自 ICML 2024 论文。它定义了一个包含真实性、安全性、公平性、鲁棒性、隐私性、机器伦理与道德等六大维度的可信度评估原则，并基于这些原则构建了包含 30 多个数据集的综合评估基准。项目提供了一套标准化的评估工具和提示词模板，支持对主流开源和闭源大模型进行可信度测试与对比，帮助开发者量化模型在关键风险维度上的表现，从而更全面地理解模型的能力边界。其核心价值在于将可信度从抽象概念转化为可操作的评估指标，为模型选型和改进提供数据支撑。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 633

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队HowieHwong

所属国家

官网地址https://trustllmbenchmark.github.io/TrustLLM-Website

GitHubhttps://github.com/HowieHwong/TrustLLM

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,benchmark,dataset,evaluation,large-language-models,llm,natural-language-processing,nlp,pypi-package,toolkit,trustworthy-ai,trustworthy-machine-learning

GitHub 星标★ 633

30天Star增速

HF 下载量

上线时间2023-12-23 00:00:00

最近更新2026-09-10 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

覆盖六大可信维度，评估框架系统全面
提供 30+ 现成数据集和统一评估脚本，开箱即用
基于 ICML 论文，方法论有学术背书

不足之处

项目处于早期阶段，文档和社区支持待完善
评估运行成本较高，对硬件资源有一定要求

适用场景

大模型选型前进行可信度横向对比
研究模型安全性和偏见等问题时作为基准工具
企业合规审查中评估模型风险

替代项目

HELM (Holistic Evaluation of Language Models)、DecodingTrust、SafetyBench

项目介绍

TrustLLM 是评测安全领域的开源项目，由 HowieHwong 开发，2023 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 633。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-10。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：大模型选型前进行可信度横向对比。同类可对比的替代方案包括 HELM (Holistic Evaluation of Language Models)、DecodingTrust、SafetyBench。

上一篇：awesome-direct-preference-optimization

下一篇：LLMeBench