项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-30 · 当前星标 ★ 281
核心亮点
- 覆盖模型制品、在线端点、MCP 服务器、智能体轨迹四类对象,验证面比单一扫描工具更完整
- 强调可复现证据,检测结果能直接用于发布评审和审计留痕,而不只是给出一个风险分数
- Python 实现且面向 DevSecOps 流水线设计,便于集成到 CI 和自动化发布流程
不足之处
- 项目处于早期阶段,星标数较少,检测规则和插件生态尚不丰富
- 文档与社区规模有限,遇到问题时可参考的案例和讨论不多
适用场景
- 模型发布前对模型制品做完整性与安全基线检查
- 对已上线的推理端点做提示注入和越权访问探测
- 接入 MCP 工具链的智能体系统上线前做能力面与权限审计
替代项目
garak、PyRIT、promptfoo
下一篇:skill-validator
同类项目推荐
datafog-python
开源
给 AI 应用装个本地隐私闸门,敏感信息不出门。
Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···
pII-guard
开源
用 LLM 智能识别日志中的隐私信息,轻松满足 GDPR 合规。
️ PII Guard is an LLM-powered tool that detects and manages Personally Identifiable···
Awesome-LLMSecOps
开源
一库在手,LLM 安全运营全链路资源速查
LLM | Agentic | Security | Operations in one github repo with good links and picture···
confabulations
开源
测出RAG系统胡说八道,用人工验证问答对量化幻觉
Hallucinations (Confabulations) Document-Based Benchmark for RAG. Includes human-ver···
stt-benchmark
开源
统一测 STT 首字延迟与语义准确率,选型有据
Benchmarking STT service TTFB and semantic WER for real-time AI applications
eval
开源
用真实编码任务测出大模型真实力,结果公开可对比
Public results and task definitions for FrontierHarness Eval
AlignBench
开源
测中文大模型对齐能力,多维打分看清模型强弱
大模型多维度中文对齐评测基准 (ACL 2024)
awesome-ai-testing
开源
一页清单看懂 AI 测试工具,选型不再东拼西凑
A curated list of AI-powered testing tools, frameworks, and resources for QA enginee···
sim-evals
开源
把机器人策略丢进仿真跑分,省下真机评测的麻烦
A simulation evaluation platform for DROID
