项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 207
技术标签
核心亮点
- 按用例梳理多种评测范式，覆盖自动指标、模型打分、人工评估等主流路线
- 对评测方法本身做批判性评估，而非只罗列指标，帮助判断结论可信度
- 以文档形式组织，查阅成本低，适合团队做评测方案选型前的快速调研
不足之处
- 纯文档项目，不提供可运行的评测代码或工具链
- 星标数较少，社区规模与更新活跃度有待观察
适用场景
- 团队搭建 LLM 评测流水线前做方法选型调研
- 研究者撰写 LLM 评估相关论文时查阅方法分类
- 产品经理判断某个模型评测报告是否可信时做参考
替代项目
EleutherAI/lm-evaluation-harness、openai/evals
同类项目推荐
mt-rag-benchmark
开源
多轮对话下测 RAG，暴露单轮评测看不到的短板
Multi-Turn RAG Benchmark
Awesome-Video-Reasoning-Landscap···
开源
一张图看懂视频推理，快速上手最新研究
An open-source survey of the latest video reasoning tasks, paradigms, and benchmarks···
Guardrails
开源
给大模型对话装上可编程的安全护栏，防止跑偏和有害输出。
NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails ···
Doberman-Core
开源
运行时拦截 AI 的每个动作，防止危险操作执行
Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···
rizzo-pii
开源
本地脱敏文档，再放心喂给 LLM
Local-first privacy guard: anonymize your documents before sharing with LLMs.
RAGElo
开源
用 Elo 对战排名，快速选出最强 RAG 智能体
RAGElo is a set of tools that helps you selecting the best RAG-based LLM agents by u···
genai-bench
开源
token 级压测 LLM 服务，选型调优有据可依
Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···
llm-eval
开源
一站式跑分，快速对比大模型与 RAG 效果
大语言模型评估平台，支持多种评估基准、自定义数据集和性能测试。支持基于自定义数据集的···
DeepSec
开源
AI 写码，DeepSec 把关，实时防漏洞，自动测安全。
DeepSec — AI Security Offense & Defense Platform. Shield audits AI-generated code f···