项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 108
核心亮点
- 统一评测框架，支持多模型接入，省去重复搭建测试环境
- 可自定义测试任务和指标，灵活适配不同业务场景
- 自动生成报告，结果直观，便于团队决策
不足之处
- 文档/社区待观察
- 目前支持的模型和数据集数量有限，扩展性待验证
适用场景
- 技术选型时对比多个 LLM 的性能
- 内部模型迭代后回归测试效果
- 学术研究中标准化评估模型能力
替代项目
lm-evaluation-harness、OpenCompass、HELM
上一篇：TrustLLM
下一篇：FollowBench
同类项目推荐
pii-guardrail-browser-extension
开源
粘贴前自动抹掉敏感信息，放心用 AI 对话
Privacy Guardrail is a local-first Chrome extension that detects and anonymizes PII ···
PatchEval
开源
用真实漏洞测大模型修 bug 的真本事
PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···
awesome-llm-security
开源
一站式找到 LLM 安全工具和资料，防坑避雷
A curation of awesome tools, documents and projects about LLM Security.
Object-Detection-Metrics
开源
一键计算目标检测的 mAP，公平对比模型性能
Most popular metrics used to evaluate object detection algorithms.
awesome-rsi
开源
一张图看懂 AI 自我改进的研究版图
A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···
Loong
开源
测出长文本大模型真实力，必须跨文档推理才能答对
[EMNLP 2024 (Oral)] Leave No Document Behind: Benchmarking Long-Context LLMs with Ex···
overmind
开源
追踪+评测+微调，让 Agent 越用越准
The platform for continuously improving AI agents.
evalplus
开源
给 LLM 代码生成做严格体检，避免高分低能
Rigourous evaluation of LLM-synthesized code - NeurIPS 2023 & COLM 2024
model-serving-minefield
开源
按症状查 LLM 服务陷阱，避免自信的错误测量
Community registry of LLM serving-path traps that produce confidently wrong measurem···