giskard-oss

给 LLM 应用做全面质检，上线前自动揪出漏洞和偏见

Giskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题，提供从单元测试到红队攻击的全链路测试能力。核心能力包括：自动生成多样化测试用例（涵盖功能、性能、安全、公平性等维度）、支持自定义断言与回归测试、内置 AI 红队模块可自动探测提示注入、数据泄露等安全漏洞，并能生成可复用的测试套件集成到 CI/CD 流程。项目采用 Python 实现，兼容主流 LLM 框架，帮助团队在开发早期发现模型缺陷，降低生产事故风险。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 5834

维护状态活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队Giskard-AI

所属国家

官网地址https://docs.giskard.ai

GitHubhttps://github.com/Giskard-AI/giskard-oss

定价模式free

价格说明开源库，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent-evaluation,ai-red-team,ai-security,ai-testing,fairness-ai,llm,llm-eval,llm-evaluation,llm-security,llmops,ml-testing,ml-validation,mlops,rag-evaluation,red-team-tools,responsible-ai,trustworthy-ai

GitHub 星标★ 5834

30天Star增速

HF 下载量

上线时间2022-03-06 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数10

使用教程

难度：入门约 10 分钟部署方式：库/依赖 7 步

环境要求

Python 3.12 或更高版本
pip 包管理工具（用于 pip install）
使用 LLM judge / 扫描生成器时，需准备对应 provider 的 API Key（如 openai extra）
（可选）可访问 PyPI 的网络环境

安装与启动步骤

1检查 Python 版本

Giskard 要求 Python 3.12+，先确认本机版本满足要求，否则先升级 Python 再安装。
```
python --version
```
2安装 giskard 核心

安装基础包，包含 giskard-checks 及其依赖（agents、llm、core），用于测试与评估。
```
pip install giskard
```
3安装扫描扩展

需要漏洞扫描或 RAG/质量评估时，安装 scan extra 以获取 giskard-scan 模块。
```
pip install "giskard[scan]"
```
4安装 provider 扩展

LLM judge 与扫描生成器需要 provider SDK，例如安装 openai extra；其他 provider 见 pyproject.toml 可选依赖。
```
pip install "giskard[openai]"
```
5可选关闭遥测

如不希望发送聚合分析数据，可在导入前设置环境变量；也可写入工作目录的 .env 文件。
```
export DO_NOT_TRACK=1
```
6运行 Checks 示例

把 README 的 Quickstart 代码保存为 quickstart.py，替换 get_answer 为自己的模型或智能体调用后运行。
```
python quickstart.py
```
7运行漏洞扫描示例

把扫描 Quickstart 保存为 scan_demo.py，target 替换为自己的异步 agent 函数，description 填被测应用描述。
```
python scan_demo.py
```

关键配置

配置项	必填	说明	示例
`OPENAI_API_KEY`	是	使用 openai extra 的 LLM judge / 生成器时需设置的 provider API Key（README 仅说明需设置对应 provider	`sk-xxxxxxxx`
`DO_NOT_TRACK`	否	设为 1 可关闭遥测上报，建议在 import 前设置	`1`
`GISKARD_TELEMETRY_DISABLED`	否	与 DO_NOT_TRACK 等价的遥测关闭开关	`1`

如何确认成功

运行两个 Quickstart 脚本后终端无异常，并打印出场景测试报告（result.print_report() 输出），即表示安装与调用成功。

常见问题

Q：三个 pip 安装命令都要执行吗？

A：不必。pip install giskard 是核心；需要漏洞/质量扫描再加 [scan]；需要 LLM judge 或扫描生成器时按 provider 安装 [openai] 等 extra。

Q：运行 Groundedness 报错提示缺少 provider 怎么办？

A：Groundedness 是 LLM judge，需安装对应 provider extra（如 pip install "giskard[openai]"）并设置匹配的 API Key，默认模型为 openai/gpt-4o-mini。

Q：如何关闭遥测数据上报？

A：在导入前执行 export DO_NOT_TRACK=1 或 export GISKARD_TELEMETRY_DISABLED=1，也可把同样的键写入工作目录的 .env 文件。

Q：v2 还能继续使用吗？

A：v2 仍可获取但已不再积极维护；v3 的漏洞扫描和 RAG 评估已内置在 giskard-scan 中，仅 tabular/ML 模型扫描仍依赖 v2。

Q：支持哪些 Python 版本？

A：README 明确要求 Python 3.12+，低于该版本需先升级解释器再安装。

注意事项

遥测为可选聚合分析，不会发送 prompt 或输出内容。
provider extra 除 openai 外还有 anthropic 等，具体名称以项目 pyproject.toml 的可选依赖为准。
v3 是重写版本，去掉了重型依赖，包按需引入，不要一次性安装全部 extra。
完整用法见官方文档 https://docs.giskard.ai/oss（Suites、LLMJudge、多轮场景等）。

核心亮点

自动生成测试用例，覆盖功能、安全、公平性等多维度，省去手工编写成本
内置 AI 红队模块，可主动探测提示注入、数据泄露等安全风险
支持将测试套件集成到 CI/CD，实现模型迭代的持续回归验证

不足之处

文档偏重基础用法，高级自定义场景的示例不够丰富
社区活跃度一般，问题响应速度待观察

适用场景

LLM 应用上线前的质量评估与安全审计
模型迭代时的回归测试与性能监控
企业内控对 AI 系统的合规性检查

替代项目

DeepEval、Promptfoo、LangSmith

项目介绍

giskard-oss 是评测安全领域的开源项目，由 Giskard-AI 开发，2022 年首次发布。

在全站 12,961 个收录项目中，它的 GitHub 星标数（5,834）位列前 8%，在评测安全分类的 456 个项目里位列前 5%。

近 45 天，它的 GitHub 星标从 5,741 增加到 5,834，净增 93。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源库，Apache-2.0 许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：LLM应用上线前的质量评估与安全审计。同类可对比的替代方案包括 DeepEval、Promptfoo、LangSmith。

上一篇：opik

下一篇：trulens