sample-agent-cost-bench
横向评测编程代理的成本、质量与耗时
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-27 · 当前星标 ★ 101
核心亮点
- 同时度量成本、质量、耗时三个维度，便于做性价比横向对比
- 支持任意 AI Coding Assistant CLI 与任意模型，接入方式统一
- 验证器可插拔，能按任务定制正确性判定标准
不足之处
- 早期项目，星标与社区规模较小，生态和文档完善度待观察
- 真实仓库评测依赖环境配置，复现成本可能较高
适用场景
- 团队选型时对比多个编码代理与模型的成本与效果
- 评估代理改动在真实仓库中的正确性与耗时
- 为内部编码代理建立可回归的基准测试集
替代项目
SWE-bench、swe-agent、OpenHands
下一篇：blacksmith
同类项目推荐
Tracely
开源
把生产事故变成 CI 回归测试，自动拦截坏 PR
Trace-native CI/CD for AI agents — production failures become regression tests that···
BEAM
开源
百万级上下文下，科学评测并增强大模型长期记忆
[ICLR 2026] Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in ···
Awesome-AD-on-T2IDM
开源
扩散模型攻防论文与工具一站速查
A collection of resources on attacks and defenses targeting text-to-image diffusion ···
hallucination-index
开源
测出哪个AI最会胡说八道，选模型不再踩坑
Initiative to evaluate and rank the most popular LLMs across common task types based···
MemoryAgentBench
开源
多轮对话里测 Agent 记不记得住、找不找得回
Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···
Cognitive-Core-Skills
开源
一套标准，量化AI的认知核心技能，让模型能力可比较。
A universal, industry-neutral taxonomy of cognitive core skills (perception, memory,···
guardrails
开源
给大模型输出装上安全阀，让生产更可靠
Adding guardrails to large language models.
autoarena
开源
自动两两PK，快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation
alpaca_eval
开源
自动评估指令跟随模型，快、便宜、且靠谱。
An automatic evaluator for instruction-following language models. Human-validated, h···