TrustLLM

给大模型做全面体检，量化可信度短板

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 69 🐛 待处理 8 👀 关注 8

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 635

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队HowieHwong

官网地址https://trustllmbenchmark.github.io/TrustLLM-Website

GitHubhttps://github.com/HowieHwong/TrustLLM

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,ai-agents,benchmark,dataset,evaluation,hallucination,large-language-models,llm,llm-benchmark,llm-evaluation,llm-safety,natural-language-processing,nlp,openai-compatible,pypi-package,responsible-ai,toolkit,trustworthy-ai,trustworthy-machine-learning

GitHub 星标★ 635

上线时间2023-12-23 00:00:00

代码更新2026-10-04

仓库体积13.2 MB

本站数据更新2026-11-08

维护状态维护中

收录时间2026-08-09

浏览次数3

项目介绍

TrustLLM 是一个针对大语言模型可信度的系统性研究项目，源自 ICML 2024 论文。它定义了一个包含真实性、安全性、公平性、鲁棒性、隐私性、机器伦理与道德等六大维度的可信度评估原则，并基于这些原则构建了包含 30 多个数据集的综合评估基准。项目提供了一套标准化的评估工具和提示词模板，支持对主流开源和闭源大模型进行可信度测试与对比，帮助开发者量化模型在关键风险维度上的表现，从而更全面地理解模型的能力边界。其核心价值在于将可信度从抽象概念转化为可操作的评估指标，为模型选型和改进提供数据支撑。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 635

技术标签

ai ai-agents benchmark dataset evaluation

使用教程

难度：高级约 90 分钟部署方式：本地安装 5 步

环境要求

Python 3.10+
模型服务或本地权重
约 20G 数据空间

安装与启动步骤

1装评测包

它把评测拆成独立包，从 git 装并指定子目录。

python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"

2下评测数据

官方脚本统一下载，注意数据版本与代码匹配。
```
python -m trustllm download --output data
```
3看任务清单

先列出全部任务，再挑关心的维度，别一次全跑。
```
python -m trustllm tasks
```
4生成回答

两阶段设计：先让模型答题并落盘，再离线打分，便于复现。
```
python -m trustllm generate
```
5打分

用同一批落盘回答算指标，换模型只重跑第一阶段。
```
python -m trustllm evaluate --task safety --data runs/api-safety-full
```