NiceEval

10分钟为你的AI Agent搭建评测体系

开源 🏷️基础免费,高级付费 ✅ 目前可打开 评测安全 🍴 复刻 6 🐛 待处理 16
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 165
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 提供免费试用,高级功能需付费,具体定价待确认

项目预览

NiceEval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队NiceEval
定价模式🏷️基础免费,高级付费
价格说明提供免费试用,高级功能需付费,具体定价待确认
访问状态✅ 目前可打开
是否开源是
主要语言TypeScript
技术栈/模型ai,ai-agent,evals
GitHub 星标★ 165
上线时间2026-06-28 00:00:00
代码更新2026-11-20
仓库体积268.2 MB
本站数据更新2026-11-20
维护状态活跃
收录时间2026-08-23
浏览次数11

项目介绍

NiceEval 是一个面向 AI Agent 的轻量级评测框架,旨在帮助开发者快速构建和运行评估任务。它解决了 AI Agent 开发中缺乏标准化评测手段的问题,让开发者能在 10 分钟内为自定义 Agent 搭建评测流程。核心能力包括:声明式评测用例定义、支持多种评测指标(如准确率、召回率等)、与主流 Agent 框架集成、提供 CLI 和 API 接口。通过自动化评测,开发者可以持续追踪 Agent 性能,优化提示词和模型选择。项目采用 TypeScript 编写,基于 ai 和 ai-agent 技术栈,目前处于早期阶段,但设计简洁,易于扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-23 · 当前星标 ★ 165

技术标签

核心亮点

  • 上手极快,10分钟即可创建首个评测,降低评估门槛
  • 声明式配置,无需编写复杂代码即可定义评测用例
  • 与主流AI Agent框架集成,方便嵌入现有开发流程

不足之处

  • 项目早期,文档和社区支持待观察
  • 评测指标和场景覆盖可能有限

适用场景

  • AI Agent开发中的性能回归测试
  • 对比不同模型或提示词的效果
  • 持续集成中自动评估Agent质量

替代项目

LangSmith、Promptfoo、DeepEval

上一篇:AgentGuard

下一篇:Tracely-ai

同类项目推荐

PhyX 开源

测测你的AI有没有物理常识,一测便知

PhyX: Does Your Model Have the "Wits" for Physical Reasoning?

★ 55 2026-08-09
ko-pii 开源

韩语文本敏感信息检测与脱敏,一条命令搞定

한국어 PII 검출 + 가명화 Python 라이브러리

★ 107 2026-10-21
Modality-Integration-Rate 开源

量化视觉-语言模型跨模态对齐,诊断融合短板

[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···

★ 114 2026-08-09
inspect_evals 开源

一行命令跑齐大模型能力与安全评测

Collection of evals for Inspect AI

★ 750 2026-09-14
tensor-trust 开源

玩游戏,收集提示注入数据,助力AI安全研究

A prompt injection game to collect data for robust ML research

★ 82 2026-08-09
NOIR 开源

用 adb 给手机做隐私体检,看清 App 上报了什么

手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···

★ 3663 2026-11-04
g-harness-evals 开源

同一批任务跑多个 agent 框架,比效果也比成本

Open source harness evals: which agent harness does tasks the best, for the least co···

★ 169 2026-11-19