agent-evaluation
本站收录 25 个带「agent-evaluation」标签的 AI 开源项目
iFixAiiFixAi 是一个面向 AI Agent 的独立审计工具,旨在快速回答 AI Agent 经济中最关键的问题:Agent 是否在按预期工作?它支持由人类或 A★ 45,738
giskard-ossGiskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题,提供从单元测试到红队攻击的全链路测试★ 5,952
coze-loopcoze-loop 是一个面向 AI Agent 的全生命周期优化平台,旨在解决 Agent 开发中调试难、评估缺、监控弱的问题。它提供从开发、调试、评估到监控★ 5,800
trulensTruLens 是一个面向 LLM 实验和 AI Agent 的评估与追踪工具,旨在解决大模型应用开发中‘效果难衡量、问题难定位’的痛点。它提供了一套统一的反馈★ 3,651
future-agiFuture AGI 是一个开源的端到端平台,用于评估、观测和优化 LLM 及 AI 智能体应用。它集成了追踪、评测、模拟、数据集管理、网关和护栏等核心功能,帮★ 2,277
SkillEvaluatorSkillEvaluator 是一个面向 AI Agent 技能(skills)的多层级评测框架,目标是回答一个实际问题:你给 Agent 装的技能到底有没有用★ 1,502
skill-upskill-up 是阿里巴巴开源的一款 Agent Skills 评估与进化工具,专门用于测试和提升 AI 智能体技能的质量。它解决了 Agent 技能开发中缺★ 1,475
ClawBenchClawBench 是一个开源的浏览器 AI 智能体基准测试项目,专注于评估 AI 智能体在真实日常任务中的表现。它解决了当前浏览器智能体缺乏统一、贴近真实场景★ 1,300
any-agentany-agent 是一个 Python 开发框架,目标是给不同 AI Agent 框架提供统一的使用与评估接口。当前 Agent 生态碎片化严重,LangCh★ 1,258
intelligent-audit-systemAuditPilot 是一个面向企业的可审计 AI 智能体系统,旨在解决 AI 在关键业务流程中缺乏透明度、可控性和合规性的问题。它提供了一套完整的框架,让企业★ 1,182
awesome-evals这是一个由 BenchFlow 维护的精选资源列表,专注于 AI 智能体的构建与评估。它汇集了论文、博客、演讲、工具和基准测试等高质量资源,旨在为开发者提供一份★ 1,038
Tracely-aiTracely-ai 是一个面向 AI Agent 的 trace 原生 CI/CD 工具,把生产环境中的 agent 调用轨迹当作一等公民来治理。它解决的核心★ 948
Awesome-CUAAwesome-CUA 是一个面向计算机使用智能体(Computer-Use Agents)的开源资源目录,以可溯源的方式收录该方向的论文、GUI 模型、数据集★ 937
pandaprobePandaprobe 是一个开源的 AI Agent 工程平台,专注于解决 Agent 开发中「黑盒难调试、效果难量化」的问题。它提供 traces(调用链路追★ 795
metaharnessmetaharness 是一个用于构建 AI 智能体元框架(meta-harness)的开源项目。它旨在解决开发者从零搭建智能体框架时面临的重复劳动和架构碎片化★ 748
agentenv-frameworkagentenv-framework 是一个用 Python 编写的开源开发框架,目标是让研究者、工程师和领域专家能协作构建真实、可复现的强化学习(RL)与智能★ 441
OpenARTOpenART 是一个面向自主 AI 智能体(Agent)的开源安全评测框架,专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 275
ai-agents-tutorial这是一个从零开始学习AI Agent的教程项目,旨在帮助开发者系统掌握智能体开发的完整知识体系。内容覆盖从基础的工具调用(function calling)到复★ 212
DM-Code-AgentDM-Code-Agent 是一个本地优先、可审计的 Python 代码智能体项目。它旨在解决 AI 编程助手在真实软件开发中表现不稳定、结果难以复现的问题。项★ 152
nemo-helixNeMo Helix 是 NVIDIA 推出的 AI Agent 全生命周期优化工具,聚焦于让上线的智能体更快、更准、更安全。它面向构建和运维 LLM Agen★ 145
every_eval_everEvery Eval Ever 是一个面向 AI 评测领域的共享元数据规范与众包评测数据库。它要解决的核心问题是:当前 AI 评测结果散落在各类排行榜、学术论文★ 141
FlownessFlowness 是一个以工作为中心(work-centered)的智能体软件工程运行时。它解决的核心问题是:在复杂的智能体工作流中,工作本身(如任务、数据、状★ 108
benchmarks这是一个面向语音 AI 的可复现基准测试项目,专注于 TTS(文本转语音)、STT(语音转文本)和 S2S(语音到语音)三类任务的延迟与准确率评测。它解决的是语★ 105
ResolveLabResolveLab 是一个面向 LLM Agent 的评测与后训练环境,核心思路是在工具调用链路中主动注入故障,并用副作用评分(side-effect gra★ 104
ai-eval-platform这是一个开源的 AI 应用评测平台,专注于解决 RAG、AI Agent、多轮对话等复杂场景的评估难题。它提供 LLM-as-Judge、接口评测、评测报告和人★ 20