项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 105
核心亮点
- 在工具调用层主动注入故障，能测出 Agent 的容错与恢复能力，而非只看最终文本
- 副作用评分机制直接校验数据库等真实状态变更，避免 Agent 口头宣称完成
- 基于 FastAPI + SQLite 的轻量架构，本地即可跑通，支持 Ollama 本地模型
不足之处
- 早期项目，星标约 106，生态与文档成熟度有限
- 故障类型与工具场景覆盖面待扩展，复杂多步任务支持需验证
适用场景
- 研究 LLM Agent 在工具故障下的鲁棒性与恢复策略
- 构建可复现的 Agent 工具调用评测基准
- 用故障注入产生的轨迹数据对 Agent 做后训练
替代项目
AgentBench、ToolBench、WebArena
上一篇：merchantbench
下一篇：content-seal
同类项目推荐
openai-guardrails-python
开源
给 LLM 应用加一层安全护栏，自动拦截违规输入输出
OpenAI Guardrails - Python
NOIR
开源
用 adb 给手机做隐私体检，看清 App 上报了什么
手机隐私审计：用 adb 扫出 Android 应用的权限、上报端点与数据流向，并给出可回滚的处置···
agentdojo
开源
搭建 LLM 智能体攻防演练场，量化安全风险
A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.
SECA
开源
用语义等价攻击，自动逼出 LLM 的幻觉破绽
[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···
llmspeed
开源
Feel how fast a local LLM runs before you buy the hardware
guardrail
开源
用 GPT 快速做情感分析和内容审核
GuardRail: Advanced tool for data analysis and AI content generation using OpenAI GP···
Awesome-KV-Cache-Compression
开源
一份论文清单，搞定大模型KV Cache压缩选型
Must-read papers on KV Cache Compression (constantly updating ).
BackdoorLLM
开源
统一评测 LLM 后门攻防，一键复现与对比
[NeurIPS 2025] BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defen···
helm
开源
一站式跑分对比大模型，多维度评测可复现
Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···