项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-07 · 当前星标 ★ 120
核心亮点
- 提供统一评测流程，同一套脚本可对比多个模型，减少自建评测的成本
- 以 Python 实现、结构轻量，便于按团队需求增删任务或替换数据集
- 输出结构化指标，适合用于模型选型与微调后的回归验证
不足之处
- 早期项目，星标与社区规模较小，文档和示例覆盖有限
- 评测任务与数据集范围以仓库现状为准，扩展性依赖自行改造
适用场景
- 模型选型阶段横向对比多个候选模型的效果
- 微调或版本迭代后做质量回归验证
- 团队内部搭建可复现的模型评测流水线
替代项目
lm-evaluation-harness、OpenCompass
下一篇：没有了！
同类项目推荐
VideoGen-Eval
开源
给视频生成模型打分，自动评测多维度质量
VideoGen-Eval: Agent-based System for Video Generation Evaluation
guidellm
开源
给 LLM 推理服务做真实压测，选型调优有数可依
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
VLMEvalKit
开源
一键评测 220+ 多模态模型，秒出对比报告
Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ L···
WorfBench
开源
给AI工作流生成能力打分，让模型编排更靠谱
[ICLR 2025] Benchmarking Agentic Workflow Generation
Object-Detection-Metrics
开源
一键计算目标检测的 mAP，公平对比模型性能
Most popular metrics used to evaluate object detection algorithms.
Awesome-LLM-Red-Teaming
开源
一站式收集 LLM 红队测试资源，快速上手安全攻防
A curated list of awesome LLM Red Teaming training, resources, and tools.
UltraText_Bench
开源
给文生图模型做中英文写字能力体检
[Preprint] UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visua···
Awesome-LLMs-Pruning
开源
大模型剪枝论文一网打尽，调研选型不迷路
Awesome LLM pruning papers all-in-one repository with integrating all useful resourc···
model-serving-minefield
开源
按症状查 LLM 服务陷阱，避免自信的错误测量
Community registry of LLM serving-path traps that produce confidently wrong measurem···