项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-05 · 当前星标 ★ 376
核心亮点
- SDK 与 CLI 双入口，接入已有 agent 基准只需少量胶水代码
- 专注 RSI 多轮迭代评测这一细分场景，把轮次、策略钩子和指标采集封装好，省去自建评测脚手架
- 轻量 Python 实现，依赖少，便于阅读源码和按需改造实验流程
不足之处
- 早期项目，星标与生态尚小，基准适配覆盖面和长期维护待观察
- 缺少大规模实验调度、结果可视化等平台化能力，复杂评测需自行补齐
适用场景
- 研究团队验证某种递归自我改进策略在多轮迭代后是否真的提升 agent 基准分数
- 算法工程师对比不同自我改进提示或反馈机制在同一基准上的效果差异
- 教学或内部实验中快速搭建可复现的 RSI 评测流水线
替代项目
lm-evaluation-harness、OpenAI Evals、inspect_ai
上一篇：AgentCapture
下一篇：grim-prompter
同类项目推荐
Zero-Breach-Toolkit
开源
离线自查设备是否留有已知间谍软件痕迹
Free, open-source check for traces of mercenary spyware (Pegasus, Predator, Graphite···
Awesome-Evaluation-of-Visual-Gen···
开源
一页看懂视觉生成模型怎么评测，省去翻论文的麻烦
A list of works on evaluation of visual generation models, including evaluation metr···
SREGym
开源
用真实生产事故考题，测出 AI Agent 会不会排障
Can AI agents resolve production incidents?
VelLMes-AI-Deception-Framework
开源
用AI伪装成AI，让攻击者自投罗网
Interactive, dynamic, and realistic LLM honeypots
Object-Detection-Metrics
开源
一键计算目标检测的 mAP，公平对比模型性能
Most popular metrics used to evaluate object detection algorithms.
llm_chess
开源
让大模型下棋，测出推理和守规则的真实水平
LLM Chess - evaluating Large Language Models' reasoning and instruction-following ab···
ErrorAnalysis_Prompt
开源
用 ChatGPT 快速定位翻译错误，输出结构化评估报告
:gift:[ChatGPT4MTevaluation] ErrorAnalysis Prompt for MT Evaluation in ChatGPT
ActPlane
开源
用 eBPF 管住 AI Agent 的数据流，防泄露防乱来
eBPF Information Flow Enforcement for AI Agent safety, security and effectiveness
AgentBench
开源
一套基准测出 LLM 当智能体到底行不行
A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)