
g-harness-evals
同一批任务跑多个 agent 框架,比效果也比成本
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 163
核心亮点
- 把任务完成质量与 token/调用成本放在同一张表里对比,选型有数据依据
- 提供统一的 harness 适配层,新增待测框架只需实现接口,扩展成本低
- 评测流程可复现,任务集与执行记录留存,便于回归对比
不足之处
- 项目早期,任务集规模与 harness 覆盖数量有限,结论代表性待观察
- 文档与社区生态尚不成熟,缺少开箱即用的报告模板和 CI 集成示例
适用场景
- 团队在多个 agent 框架间做技术选型时跑基准对比
- agent 框架作者验证新版本相对旧版的性能与成本变化
- 研究者复现或扩展 agent harness 评测方法论
替代项目
SWE-bench、AgentBench、OpenAI Evals
上一篇:evalchemy
下一篇:reforge-ai-evals
同类项目推荐
stt-benchmark
开源
统一测 STT 首字延迟与语义准确率,选型有据
Benchmarking STT service TTFB and semantic WER for real-time AI applications
frontier-evals
开源
用统一标准跑分,快速对比前沿模型真实能力
OpenAI Frontier Evals
benchmark-radar
开源
一站追踪全球 AI 评测基准,每日更新可溯源
Track 50,331+ AI benchmark, eval, dataset, and data-quality records from 41 public s···
Tracely-ai
开源
把线上 agent 失败轨迹变成 CI 回归测试,退化就拦 PR
Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···
RWKU
开源
给大模型做“记忆清除手术”,并验证效果是否达标
RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models. NeurIP···
Rickrolling-the-Artist
开源
给AI画师下毒:一句触发词,让模型输出指定图像
[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···
bench
开源
跑个分,就知道哪个大模型更适合你
A tool for evaluating LLMs
hackagent
开源
给 AI 智能体做安全体检,提前发现漏洞防攻击
HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Ag···
ATM-Bench
开源
测测AI能否记住你4年前的琐事
ATM-Bench: A benchmark for long-term personalized memory QA spanning ~4 years of mul···