g-harness-evals

同一批任务跑多个 agent 框架,比效果也比成本

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 11 🐛 待处理 5
GitHub ↗
GitHub 星标 ★ 163
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费

项目预览

g-harness-evals 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队garrytan
定价模式🏷️完全免费
价格说明开源免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 163
上线时间2026-11-05 00:00:00
代码更新2026-11-16
仓库体积639.8 MB
本站数据更新2026-11-19
维护状态活跃
收录时间2026-11-19
浏览次数0

项目介绍

g-harness-evals 是一个用 Python 编写的开源评测工具,专门用来横向比较不同 AI agent harness(智能体执行框架)在真实任务上的表现与成本。它把同一批任务分发给多个 harness 运行,记录任务完成质量、token 消耗、调用次数和耗时等指标,最终给出「谁做得最好、谁最省钱」的量化对比。项目解决的是 agent 框架选型缺乏客观基准的问题:开发者往往凭感觉或单点 demo 选择 harness,难以判断在自身任务分布下的性价比。核心能力包括统一任务集与执行协议、多 harness 适配层、结果采集与成本核算、可复现的对比报告。项目处于早期阶段,星标数不高,适合作为评测方法论参考或二次开发的基础骨架。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 163

核心亮点

  • 把任务完成质量与 token/调用成本放在同一张表里对比,选型有数据依据
  • 提供统一的 harness 适配层,新增待测框架只需实现接口,扩展成本低
  • 评测流程可复现,任务集与执行记录留存,便于回归对比

不足之处

  • 项目早期,任务集规模与 harness 覆盖数量有限,结论代表性待观察
  • 文档与社区生态尚不成熟,缺少开箱即用的报告模板和 CI 集成示例

适用场景

  • 团队在多个 agent 框架间做技术选型时跑基准对比
  • agent 框架作者验证新版本相对旧版的性能与成本变化
  • 研究者复现或扩展 agent harness 评测方法论

替代项目

SWE-bench、AgentBench、OpenAI Evals

上一篇:evalchemy

下一篇:reforge-ai-evals

同类项目推荐

stt-benchmark 开源

统一测 STT 首字延迟与语义准确率,选型有据

Benchmarking STT service TTFB and semantic WER for real-time AI applications

★ 143 2026-10-26
frontier-evals 开源

用统一标准跑分,快速对比前沿模型真实能力

OpenAI Frontier Evals

★ 1344 2026-10-22
benchmark-radar 开源

一站追踪全球 AI 评测基准,每日更新可溯源

Track 50,331+ AI benchmark, eval, dataset, and data-quality records from 41 public s···

★ 411 2026-09-14
Tracely-ai 开源

把线上 agent 失败轨迹变成 CI 回归测试,退化就拦 PR

Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···

★ 948 2026-10-22
RWKU 开源

给大模型做“记忆清除手术”,并验证效果是否达标

RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models. NeurIP···

★ 103 2026-08-09
Rickrolling-the-Artist 开源

给AI画师下毒:一句触发词,让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09
bench 开源

跑个分,就知道哪个大模型更适合你

A tool for evaluating LLMs

★ 428 2026-08-09
hackagent 开源

给 AI 智能体做安全体检,提前发现漏洞防攻击

HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Ag···

★ 541 2026-08-09
ATM-Bench 开源

测测AI能否记住你4年前的琐事

ATM-Bench: A benchmark for long-term personalized memory QA spanning ~4 years of mul···

★ 72 2026-08-09