ASSERT

按需求自动生成用例，本地跑测 AI Agent 行为

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 50 🐛 待处理 33 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 345
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费使用，定价信息待确认

项目预览

ASSERT 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队responsibleai
官网地址https://responsibleai.github.io/ASSERT
GitHubhttps://github.com/responsibleai/ASSERT
定价模式🏷️完全免费
价格说明开源免费使用，定价信息待确认
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 345
上线时间2026-04-30 00:00:00
代码更新2026-10-21
仓库体积51.5 MB
本站数据更新2026-10-23
维护状态活跃
收录时间2026-10-23
浏览次数0

项目介绍

ASSERT 是一个面向 AI Agent 与 LLM 应用的需求驱动评测框架。它要解决的问题是：传统评测往往只测模型单轮问答，无法验证 Agent 在真实业务流程中是否满足具体行为要求。ASSERT 让开发者从需求出发，自动生成针对特定行为的测试用例，再把用例跑在任意目标上——托管模型 API、可调用包装器，或带 OpenTelemetry 追踪的 Agent 系统，最后在本地生成并查看评测产物。核心能力包括：需求到测试用例的生成、多类型目标适配、OTel 链路追踪接入、本地优先的结果归档与检查。它适合需要在 CI 或本地持续验证 Agent 行为合规性的团队，把评测从一次性跑分变成可复现、可追踪的工程流程。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 345

核心亮点

  • 从需求描述自动生成行为级测试用例，减少手写评测集的成本
  • 支持托管模型、可调用包装器、OTel 追踪 Agent 等多种目标，适配面广
  • 本地优先产出评测产物，便于复现和接入 CI 流程

不足之处

  • 项目处于早期，生态和文档完善度待观察
  • 依赖 OTel 追踪时，对未接入追踪的 Agent 需要额外改造

适用场景

  • Agent 上线前按业务需求做行为回归测试
  • 在 CI 中对 LLM 应用做持续评测
  • 对比多个模型或包装器在同一需求下的表现

替代项目

promptfoo、DeepEval

上一篇：Frontier-CS

下一篇：LLMEval-1

同类项目推荐

vidore-benchmark 开源

给文档检索模型打分，看谁找图找得准

Vision Document Retrieval (ViDoRe): Benchmark. Evaluation code for the ColPali paper···

★ 278 2026-08-09
Deco 开源

让多模态模型少说瞎话，动态纠错解码即插即用

[ICLR 2025] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation

★ 148 2026-08-09
harbor 开源

在真实终端里给智能体打分，让改进有据可依

Framework for evaluating and improving agents

★ 6373 2026-08-10
circle-guard-bench 开源

给 LLM 防护系统打分，选最靠谱的护栏

First-of-its-kind AI benchmark for evaluating the protection capabilities of large l···

★ 82 2026-08-09
valqore 开源

给 AI 运维操作装上安全气囊，防止误操作搞垮云环境

Safety-first guardrails for AI-driven cloud and Kubernetes operations

★ 1884 2026-08-09
OpenART 开源

万级场景压测 AI Agent，提前揪出越权与投毒风险

OpenART is an open-source framework designed to evaluate the safety and robustness o···

★ 251 2026-10-10
claw-eval 开源

接入模型跑人工校验任务，快速量化智能体能力

Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified ···

★ 779 2026-09-14
oss-fuzz-gen 开源

用大模型自动写模糊测试，一键发现代码漏洞

LLM powered fuzzing via OSS-Fuzz.

★ 1443 2026-08-09