giskard-oss

给 LLM 应用做全面质检,上线前自动揪出漏洞和偏见

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 564 🐛 待处理 79 👀 关注 40
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 5946
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源库,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

giskard-oss 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队Giskard-AI
定价模式🏷️完全免费
价格说明开源库,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-evaluation,ai-red-team,ai-security,ai-testing,fairness-ai,llm,llm-eval,llm-evaluation,llm-security,llmops,ml-testing,ml-validation,mlops,rag-evaluation,red-team-tools,responsible-ai,trustworthy-ai
GitHub 星标★ 5946
上线时间2022-03-06 00:00:00
代码更新2026-11-02
仓库体积175.4 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数11

项目介绍

Giskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题,提供从单元测试到红队攻击的全链路测试能力。核心能力包括:自动生成多样化测试用例(涵盖功能、性能、安全、公平性等维度)、支持自定义断言与回归测试、内置 AI 红队模块可自动探测提示注入、数据泄露等安全漏洞,并能生成可复用的测试套件集成到 CI/CD 流程。项目采用 Python 实现,兼容主流 LLM 框架,帮助团队在开发早期发现模型缺陷,降低生产事故风险。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 5946

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 3.12 或更高版本
  • pip 包管理工具(用于 pip install)
  • 使用 LLM judge / 扫描生成器时,需准备对应 provider 的 API Key(如 openai extra)
  • (可选)可访问 PyPI 的网络环境

安装与启动步骤

  1. 1检查 Python 版本

    Giskard 要求 Python 3.12+,先确认本机版本满足要求,否则先升级 Python 再安装。

    python --version
  2. 2安装 giskard 核心

    安装基础包,包含 giskard-checks 及其依赖(agents、llm、core),用于测试与评估。

    pip install giskard
  3. 3安装扫描扩展

    需要漏洞扫描或 RAG/质量评估时,安装 scan extra 以获取 giskard-scan 模块。

    pip install "giskard[scan]"
  4. 4安装 provider 扩展

    LLM judge 与扫描生成器需要 provider SDK,例如安装 openai extra;其他 provider 见 pyproject.toml 可选依赖。

    pip install "giskard[openai]"
  5. 5可选关闭遥测

    如不希望发送聚合分析数据,可在导入前设置环境变量;也可写入工作目录的 .env 文件。

    export DO_NOT_TRACK=1
  6. 6运行 Checks 示例

    把 README 的 Quickstart 代码保存为 quickstart.py,替换 get_answer 为自己的模型或智能体调用后运行。

    python quickstart.py
  7. 7运行漏洞扫描示例

    把扫描 Quickstart 保存为 scan_demo.py,target 替换为自己的异步 agent 函数,description 填被测应用描述。

    python scan_demo.py

关键配置

配置项必填说明示例
OPENAI_API_KEY是使用 openai extra 的 LLM judge / 生成器时需设置的 provider API Key(README 仅说明需设置对应 providersk-xxxxxxxx
DO_NOT_TRACK否设为 1 可关闭遥测上报,建议在 import 前设置1
GISKARD_TELEMETRY_DISABLED否与 DO_NOT_TRACK 等价的遥测关闭开关1

如何确认成功

运行两个 Quickstart 脚本后终端无异常,并打印出场景测试报告(result.print_report() 输出),即表示安装与调用成功。

常见问题

Q:三个 pip 安装命令都要执行吗?

A:不必。pip install giskard 是核心;需要漏洞/质量扫描再加 [scan];需要 LLM judge 或扫描生成器时按 provider 安装 [openai] 等 extra。

Q:运行 Groundedness 报错提示缺少 provider 怎么办?

A:Groundedness 是 LLM judge,需安装对应 provider extra(如 pip install "giskard[openai]")并设置匹配的 API Key,默认模型为 openai/gpt-4o-mini。

Q:如何关闭遥测数据上报?

A:在导入前执行 export DO_NOT_TRACK=1 或 export GISKARD_TELEMETRY_DISABLED=1,也可把同样的键写入工作目录的 .env 文件。

Q:v2 还能继续使用吗?

A:v2 仍可获取但已不再积极维护;v3 的漏洞扫描和 RAG 评估已内置在 giskard-scan 中,仅 tabular/ML 模型扫描仍依赖 v2。

Q:支持哪些 Python 版本?

A:README 明确要求 Python 3.12+,低于该版本需先升级解释器再安装。

注意事项

  • 遥测为可选聚合分析,不会发送 prompt 或输出内容。
  • provider extra 除 openai 外还有 anthropic 等,具体名称以项目 pyproject.toml 的可选依赖为准。
  • v3 是重写版本,去掉了重型依赖,包按需引入,不要一次性安装全部 extra。
  • 完整用法见官方文档 https://docs.giskard.ai/oss(Suites、LLMJudge、多轮场景等)。

核心亮点

  • 自动生成测试用例,覆盖功能、安全、公平性等多维度,省去手工编写成本
  • 内置 AI 红队模块,可主动探测提示注入、数据泄露等安全风险
  • 支持将测试套件集成到 CI/CD,实现模型迭代的持续回归验证

不足之处

  • 文档偏重基础用法,高级自定义场景的示例不够丰富
  • 社区活跃度一般,问题响应速度待观察

适用场景

  • LLM 应用上线前的质量评估与安全审计
  • 模型迭代时的回归测试与性能监控
  • 企业内控对 AI 系统的合规性检查

替代项目

DeepEval、Promptfoo、LangSmith

上一篇:opik

下一篇:trulens

同类项目推荐

genai-bench 开源

token 级压测 LLM 服务,选型调优有据可依

Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···

★ 335 2026-10-23
agentic_security 开源

给大模型应用做安全体检,自动发现漏洞并生成报告

Agentic LLM Vulnerability Scanner / AI red teaming kit

★ 2042 2026-08-09
Awesome-LLM-Reasoning 开源

一份清单,看懂 LLM 推理从 CoT 到 o1 的进化史

From Chain-of-Thought prompting to OpenAI o1 and DeepSeek-R1

★ 3711 2026-08-09
ChineseHarm-bench 开源

测一测你的模型对中文有害内容有多能扛

ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark

★ 73 2026-08-09
ARTEX 开源

让 AI 智能体自主完成渗透测试攻击链

AI 自主渗透测试系统

★ 4409 2026-10-09
optimum-benchmark 开源

一键横评多后端推理性能,选型不靠猜

️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···

★ 341 2026-09-18
skillsbench 开源

给 AI 技能和 agent 打分,看谁真会用工具

SkillsBench evaluates how well skills work and how effective agents are at using the···

★ 1904 2026-10-18
Frontier-CS 开源

用开放式 CS 难题测出大模型的真实上限

A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···

★ 347 2026-10-23