10分钟为你的AI Agent搭建评测体系
NiceEval 是一个面向 AI Agent 的轻量级评测框架，旨在帮助开发者快速构建和运行评估任务。它解决了 AI Agent 开发中缺乏标准化评测手段的问题，让开发者能在 10 分钟内为自定义 Agent 搭建评测流程。核心能力包括：声明式评测用例定义、支持多种评测指标（如准确率、召回率等）、与主流 Agent 框架集成、提供 CLI 和 API 接口。通过自动化评测，开发者可以持续追踪 Agent 性能，优化提示词和模型选择。项目采用 TypeScript 编写，基于 ai 和 ai-agent 技术栈，目前处于早期阶段，但设计简洁，易于扩展。
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
—
LangSmith、Promptfoo、DeepEval
NiceEval 是评测安全领域的开源项目，由 NiceEval 开发，是 2026 年新上线的项目。
它收录于评测安全分类，该分类目前共有 498 个项目，GitHub 星标数为 156。
近 44 天，它的 GitHub 星标从 104 增加到 156，净增 52。
项目目前处于活跃维护状态，最近一次代码更新于 2026-10-06。提供免费试用，高级功能需付费，具体定价。从国内网络环境看，可直接访问。
它主要面向的使用场景是：AIAgent开发中的性能回归测试。同类可对比的替代方案包括 LangSmith、Promptfoo、DeepEval。
上一篇：AgentGuard
下一篇：Tracely-ai
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
