harbor-cookbook
照着示例搭 agent 评测与调优闭环
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 263
核心亮点
- 示例围绕真实评测任务组织，覆盖任务定义、评分与批量运行等完整环节，可直接改造复用
- 同时给出评测构建与基于评测结果优化 agent 两条主线，形成从度量到改进的闭环
- Python 实现，代码量可控，便于逐例阅读并嵌入现有工程流程
不足之处
- 项目处于早期，示例覆盖面与文档完整度有限，复杂场景需自行补足
- 缺少生产级调度、结果看板等配套能力，规模化运行需额外建设
适用场景
- 为自研 agent 搭建第一版可复现的评测流程
- 参照示例设计任务评分标准并批量跑分对比不同版本
- 团队内部培训，学习 agent 评测与迭代优化的常见做法
替代项目
openai/evals、EleutherAI/lm-evaluation-harness、promptfoo/promptfoo
上一篇：speca
下一篇：seismometer
同类项目推荐
Rickrolling-the-Artist
开源
给AI画师下毒：一句触发词，让模型输出指定图像
[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···
aws-bench
开源
给AI智能体在真实AWS云上打分的基准测试
aws-bench measures how well AI agents and model combinations perform on real AWS wor···
VLGuard
开源
给视觉大模型加安全锁，几乎零成本防恶意图片诱导
[ICML 2024] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Lang···
AI-Surface
开源
PR 阶段扫出 AI 资产与风险，离线免费
Find and govern AI attack surfaces in application code, at PR time and inside your A···
AttackVLM
开源
给视觉语言模型找茬，一键测出安全漏洞
[NeurIPS, 500+ Citations!] Alignment & Safety for multimodal foundation models
autoarena
开源
自动两两PK，快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation
Awesome-LLM-Eval
开源
一站式找全 LLM 评测资源，快速选型不踩坑
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···
litmus
开源
拖拽式搭建 LLM 测试，快速看清模型表现
Litmus is a comprehensive LLM testing and evaluation tool designed for GenAI Applica···
AgentCompass
开源
一套框架统一跑各家智能体评测，结果可横向对比
[EMNLP 2026] AgentCompass is an extensible open-source evaluation infrastructure for···