项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 169
技术标签
核心亮点
- 基于 OpenTelemetry 追踪，天然适配可观测性生态，数据来源标准化
- 框架无关设计，可评估 LangChain、LlamaIndex 等任意框架的智能体
- 支持 LLM-as-judge 等灵活评估模式，适应复杂行为判断
不足之处
- 早期项目，文档和社区生态尚待完善
- 依赖 OpenTelemetry 追踪数据，未接入追踪的现有项目需改造
适用场景
- 评估多步骤智能体任务完成质量
- 在 CI/CD 中集成智能体回归测试
- 对比不同提示词或模型对智能体行为的影响
替代项目
LangSmith、Braintrust、Promptfoo
上一篇：AutomationBench
下一篇：AgentEval
同类项目推荐
long-form-factuality
开源
测出大模型长篇回答里有多少真话
Benchmarking long-form factuality in large language models. Original code for our pa···
botium-core
开源
像用 Selenium 测网页一样，自动化测试你的聊天机器人
The Selenium for Chatbots - Bots Testing Bots
MLLM-Token-Compression
开源
一页看懂多模态大模型Token压缩方案怎么选
Towards Efficient Multimodal Large Language Models: A Survey on Token Compression
awesome-llm-agent-papers
开源
200+篇LLM智能体论文，按主题分类，助你快速掌握前沿。
LLM agents: curated papers on planning, memory, tool use, multi-agent systems, evalu···
safelabs-eval
开源
给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
CUREBench
开源
给AI看病决策打分，推动医疗AI更靠谱
CUREBench @ NeurIPS 2025: Benchmarking AI reasoning for therapeutic decision-making ···
VBench
开源
给视频生成模型打分，16个维度看清谁强谁弱
[CVPR2024 Highlight] VBench - We Evaluate Video Generation
Awesome-Process-Reward-Models
开源
一站式索引过程奖励模型论文与代码，快速上手推理监督
A comprehensive collection of process reward models.
hackagent
开源
给 AI 智能体做安全体检，提前发现漏洞防攻击
HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Ag···