uaef

给任意 AI Agent 打分,自动发现能力回退

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 18 🐛 待处理 11 👀 关注 1
GitHub ↗
GitHub 星标 ★ 154
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务

项目预览

uaef 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队awslabs
定价模式🏷️完全免费
价格说明开源免费,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,agentcore,agentic-ai,agents,aws,deepeval,eval,evals,evaluation,evaluation-framework,evaluation-metrics,evaluator,experiment-tracking,generative-ai,langgraph,llm-as-a-judge,llm-evaluation,ragas,ragas-evaluation,responsible-ai
GitHub 星标★ 154
上线时间2026-09-15 00:00:00
代码更新2026-11-13
仓库体积6.5 MB
本站数据更新2026-11-17
维护状态活跃
收录时间2026-11-17
浏览次数0

项目介绍

UAEF(Universal Agent Evaluation Framework)是一个与框架无关的 AI Agent 评测系统,目标是解决 Agent 上线前缺乏统一量化标准、改动后难以发现能力回退的问题。它不绑定特定 Agent 框架,可直接调用任意 Agent,并从工具调用、回答质量、安全性、性能、推理能力等多个维度打分。核心能力包括:多指标自动评分、与基线版本对比实验、自动检测回归、以及由大模型生成的改进洞察。项目用 Python 实现,标签涉及 agentic-ai、deepeval、evaluation-metrics 等,适合需要持续评估 Agent 表现的团队,把评测接入开发流程,形成可追踪的质量基线。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-17 · 当前星标 ★ 154

核心亮点

  • 框架无关,可直接接入不同 Agent 实现,不强制迁移技术栈
  • 覆盖工具调用、回答质量、安全、性能、推理五类指标,评估维度较全
  • 支持基线对比与回归自动检测,便于接入持续集成流程

不足之处

  • 早期项目,星标约 154,生态与文档成熟度待观察
  • 多指标评测依赖 LLM 打分,评估成本与结果稳定性需自行验证

适用场景

  • Agent 版本迭代后自动跑回归评测,防止能力下降
  • 对比多个 Agent 框架或模型配置,选型时量化打分
  • 上线前对 Agent 的工具调用与安全性做批量评估

替代项目

DeepEval、Ragas、promptfoo

上一篇:agentic-radar

下一篇:AISecurity

同类项目推荐

agentic-radar 开源

给智能体工作流做上线前的安全体检

A security scanner for your LLM agentic workflows

★ 1070 2026-11-16
ai-safe2-framework 开源

给 AI 智能体装上治理与合规操作系统,让 AI 安全落地。

The Universal Governance, Risk, Compliance (GRC) Operating System with Integrated Se···

★ 159 2026-08-10
Apple-PI 开源

用视频生成检验AI对物理定律的理解,推动世界模型落地

[NeurIPS 2026] Apple-π: Benchmarking Thinking with Video Towards Law-Grounded Physi···

★ 83 2026-08-09
Lookback-Lens 开源

只看注意力图,就能揪出并压制模型胡编乱造

Code for the EMNLP 2024 paper "Detecting and Mitigating Contextual Hallucinations in···

★ 154 2026-08-09
hol-guard 开源

给 AI 代理装杀毒软件,实时拦截危险操作和攻击

Open-source antivirus and firewall for AI agents: block risky tools, secret access, ···

★ 1109 2026-08-09
Gym 开源

把模型丢进环境里跑,边评测边改进智能体

Evaluate and improve models and agents using environments

★ 1334 2026-09-16
uptrain 开源

给 LLM 应用打分找茬,快速定位并修复质量问题。

UpTrain is an open-source unified platform to evaluate and improve Generative AI app···

★ 2366 2026-08-09
benchmark 开源

一套脚本横向对比多个大模型的质量

Benchmark suite for LLMs from Fireworks.ai

★ 120 2026-11-07
param 开源

参数化基准组合,一键测出训练推理平台真实性能

PArametrized Recommendation and Ai Model benchmark is a repository for development o···

★ 156 2026-10-31