项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 102
核心亮点
- 把评测流程拆成 rubric、数据集、trace 编码、代码评估器、LLM 评审提示词等可执行步骤,方法论完整
- 以 agent skills 形式交付,可直接被 Claude Code、Codex 等编码代理调用,上手成本低
- 源自 Reforge 课程体系,面向 AI 产品经理与工程师双角色,兼顾业务指标与技术实现
不足之处
- 以 HTML 文档和提示词资产为主,缺少可直接运行的评测框架代码
- 社区规模小、星标数低,长期维护与更新节奏待观察
- 对未使用支持 skills 的编码代理的用户,需要手动搬运内容
适用场景
- 为刚上线的 LLM 功能设计首版评测标准与测试集
- AI 产品经理与工程师协作定义模型效果的量化验收口径
- 对 Agent 执行轨迹做 trace 编码与自动化评分
替代项目
promptfoo、DeepEval、OpenAI Evals
上一篇:g-harness-evals
下一篇:没有了!
同类项目推荐
awesome-llm-security
开源
一站式找到 LLM 安全工具和资料,防坑避雷
A curation of awesome tools, documents and projects about LLM Security.
ragas
开源
给 LLM 应用打分,快速定位 RAG 短板
Supercharge Your LLM Application Evaluations
Static-to-Dynamic-LLMEval
开源
动态生成评测样本,防数据污染,测出模型真实力
The official GitHub repository of the paper "Recent advances in large language model···
Eval
开源
并行跑 LLM 评测,速度提升最高 17 倍
High-performance LLM evaluation framework with parallel API calls — up to 17× fast···
LLMVault
开源
在真实漏洞靶场中练手,掌握 LLM 安全攻防实战
An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···
claw-eval
开源
接入模型跑人工校验任务,快速量化智能体能力
Claw-Eval is an evaluation harness for evaluating LLM as agents. All tasks verified ···
napolab
开源
一站式对比葡萄牙语AI模型,掌握最新性能排名
The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···
PoisonedRAG
开源
看穿 RAG 软肋:用知识投毒测试你的大模型防线
[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···
CS-Eval
开源
给网络安全大模型打分,快速找出安全能力短板
CS-Eval is a comprehensive evaluation suite for fundamental cybersecurity models or ···
