项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 5946
使用教程
环境要求
- Python 3.12 或更高版本
- pip 包管理工具(用于 pip install)
- 使用 LLM judge / 扫描生成器时,需准备对应 provider 的 API Key(如 openai extra)
- (可选)可访问 PyPI 的网络环境
安装与启动步骤
-
1检查 Python 版本
Giskard 要求 Python 3.12+,先确认本机版本满足要求,否则先升级 Python 再安装。
python --version -
2安装 giskard 核心
安装基础包,包含 giskard-checks 及其依赖(agents、llm、core),用于测试与评估。
pip install giskard -
3安装扫描扩展
需要漏洞扫描或 RAG/质量评估时,安装 scan extra 以获取 giskard-scan 模块。
pip install "giskard[scan]" -
4安装 provider 扩展
LLM judge 与扫描生成器需要 provider SDK,例如安装 openai extra;其他 provider 见 pyproject.toml 可选依赖。
pip install "giskard[openai]" -
5可选关闭遥测
如不希望发送聚合分析数据,可在导入前设置环境变量;也可写入工作目录的 .env 文件。
export DO_NOT_TRACK=1 -
6运行 Checks 示例
把 README 的 Quickstart 代码保存为 quickstart.py,替换 get_answer 为自己的模型或智能体调用后运行。
python quickstart.py -
7运行漏洞扫描示例
把扫描 Quickstart 保存为 scan_demo.py,target 替换为自己的异步 agent 函数,description 填被测应用描述。
python scan_demo.py
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | 使用 openai extra 的 LLM judge / 生成器时需设置的 provider API Key(README 仅说明需设置对应 provider | sk-xxxxxxxx |
DO_NOT_TRACK | 否 | 设为 1 可关闭遥测上报,建议在 import 前设置 | 1 |
GISKARD_TELEMETRY_DISABLED | 否 | 与 DO_NOT_TRACK 等价的遥测关闭开关 | 1 |
如何确认成功
运行两个 Quickstart 脚本后终端无异常,并打印出场景测试报告(result.print_report() 输出),即表示安装与调用成功。
常见问题
Q:三个 pip 安装命令都要执行吗?
A:不必。pip install giskard 是核心;需要漏洞/质量扫描再加 [scan];需要 LLM judge 或扫描生成器时按 provider 安装 [openai] 等 extra。
Q:运行 Groundedness 报错提示缺少 provider 怎么办?
A:Groundedness 是 LLM judge,需安装对应 provider extra(如 pip install "giskard[openai]")并设置匹配的 API Key,默认模型为 openai/gpt-4o-mini。
Q:如何关闭遥测数据上报?
A:在导入前执行 export DO_NOT_TRACK=1 或 export GISKARD_TELEMETRY_DISABLED=1,也可把同样的键写入工作目录的 .env 文件。
Q:v2 还能继续使用吗?
A:v2 仍可获取但已不再积极维护;v3 的漏洞扫描和 RAG 评估已内置在 giskard-scan 中,仅 tabular/ML 模型扫描仍依赖 v2。
Q:支持哪些 Python 版本?
A:README 明确要求 Python 3.12+,低于该版本需先升级解释器再安装。
注意事项
- 遥测为可选聚合分析,不会发送 prompt 或输出内容。
- provider extra 除 openai 外还有 anthropic 等,具体名称以项目 pyproject.toml 的可选依赖为准。
- v3 是重写版本,去掉了重型依赖,包按需引入,不要一次性安装全部 extra。
- 完整用法见官方文档 https://docs.giskard.ai/oss(Suites、LLMJudge、多轮场景等)。
核心亮点
- 自动生成测试用例,覆盖功能、安全、公平性等多维度,省去手工编写成本
- 内置 AI 红队模块,可主动探测提示注入、数据泄露等安全风险
- 支持将测试套件集成到 CI/CD,实现模型迭代的持续回归验证
不足之处
- 文档偏重基础用法,高级自定义场景的示例不够丰富
- 社区活跃度一般,问题响应速度待观察
适用场景
- LLM 应用上线前的质量评估与安全审计
- 模型迭代时的回归测试与性能监控
- 企业内控对 AI 系统的合规性检查
替代项目
DeepEval、Promptfoo、LangSmith
同类项目推荐
genai-bench
开源
token 级压测 LLM 服务,选型调优有据可依
Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···
agentic_security
开源
给大模型应用做安全体检,自动发现漏洞并生成报告
Agentic LLM Vulnerability Scanner / AI red teaming kit
Awesome-LLM-Reasoning
开源
一份清单,看懂 LLM 推理从 CoT 到 o1 的进化史
From Chain-of-Thought prompting to OpenAI o1 and DeepSeek-R1
ChineseHarm-bench
开源
测一测你的模型对中文有害内容有多能扛
ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark
ARTEX
开源
让 AI 智能体自主完成渗透测试攻击链
AI 自主渗透测试系统
Stable-Diffusion-Pickle-Scanner-···
开源
扫描模型文件,防止恶意代码入侵你的电脑
Pickle Scanner GUI
optimum-benchmark
开源
一键横评多后端推理性能,选型不靠猜
️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···
skillsbench
开源
给 AI 技能和 agent 打分,看谁真会用工具
SkillsBench evaluates how well skills work and how effective agents are at using the···
Frontier-CS
开源
用开放式 CS 难题测出大模型的真实上限
A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···
