jevals

每条 trace 一次请求,几分钱延迟低到能进 Agent 循环

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 13 🐛 待处理 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 120
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,定价信息待确认

项目预览

jevals 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队openlayer-ai
定价模式🏷️完全免费
价格说明开源项目,定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agents,evals,guardrails,jev,llm,llm-evaluation,ragas,typesafe
GitHub 星标★ 120
上线时间2026-09-20 00:00:00
代码更新2026-11-07
仓库体积120 KB
本站数据更新2026-11-17
维护状态较活跃
收录时间2026-10-03
浏览次数3

项目介绍

jevals 是一个面向 AI Agent 的评测与护栏(guardrails)工具,核心思路是把每一次 Agent 调用建模为一次 Jev 决策:每个 trace 只发一个请求,成本约几分之一美分,延迟低到能塞进 Agent 主循环里实时运行。它解决的是传统评测框架太重、太慢、太贵的问题——RAGAS 等方案通常需要批量离线跑,无法在 Agent 每一步动作前后做即时判断。jevals 支持本地运行,可搭配 Kev 或 Laya 使用,技术栈为 Python,标签覆盖 agents、evals、guardrails、LLM evaluation 与类型安全。典型用途包括:在 Agent 输出前拦截不安全内容、对工具调用结果做质量打分、对 RAG 检索片段做相关性判定,以及持续监控线上 Agent 行为。因为单 trace 单请求的设计,它既能当评测器也能当运行时护栏,适合需要低延迟、低成本、可嵌入循环的 Agent 工程团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-03 · 当前星标 ★ 120

技术标签

核心亮点

  • 单 trace 单请求,成本低至几分之一美分,适合高频调用
  • 延迟足够低,可直接嵌入 Agent 主循环做实时护栏而非离线批跑
  • 支持本地运行,可搭配 Kev 或 Laya,数据不出本地

不足之处

  • 项目早期,星标仅 102,生态与文档成熟度待观察
  • 依赖 Kev/Laya 等配套组件,独立使用门槛可能偏高

适用场景

  • Agent 输出前实时拦截不安全或不合规内容
  • 对工具调用返回结果做即时质量打分与重试决策
  • RAG 检索片段相关性判定,过滤低质上下文

替代项目

RAGAS、DeepEval、Guardrails AI

上一篇:open_asr_leaderboard

下一篇:awesome-jev-tools

同类项目推荐

safe-clip 开源

给 CLIP 模型装上安全阀,自动过滤 NSFW 内容

[ECCV 2024] Official implementation of Safe-CLIP, a safety-aligned vision-language m···

★ 68 2026-08-09
Gym 开源

把模型丢进环境里跑,边评测边改进智能体

Evaluate and improve models and agents using environments

★ 1340 2026-09-16
kosty 开源

一条命令给 AWS 账户做成本、安全与 GenAI 全面体检

One-command AWS audit: find cost waste, detect security gaps, audit GenAI (Bedrock/S···

★ 273 2026-11-16
ClawProBench 开源

在真实 OpenClaw 里反复跑 Agent,用确定性打分比出谁更稳

ClawProBench is a live-first benchmark harness for evaluating LLM agents in the Op···

★ 830 2026-09-16
agent-scan 开源

扫一遍 Agent 和 MCP 配置,提前揪出权限与注入风险

Security scanner for AI agents, MCP servers and agent skills.

★ 3250 2026-09-12
OpenJudge 开源

给AI智能体当裁判,量化每一步质量,训练更靠谱的Agent。

OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards

★ 1112 2026-08-09
llm-leaderboard 开源

一站式对比LLM基准分数和价格,快速选型

A comprehensive set of LLM benchmark scores and provider prices. (deprecated, read m···

★ 356 2026-08-09
skill-scanner 开源

给 Agent 技能做安全体检,上线前扫出提示注入和越权风险

Security Scanner for Agent Skills

★ 2739 2026-10-11