项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 215
核心亮点
- 提供大规模预置数据集和指标目录，覆盖多种评估场景
- 模块化设计，支持灵活组合任务、数据和指标，易于扩展
- 标准化评估流程，提升结果的可复现性和可比性
不足之处
- 早期项目，文档和社区生态尚待完善
- 与主流框架（如 HuggingFace）的集成深度待观察
适用场景
- 企业级 AI 模型上线前的性能基准测试
- 研究团队进行多模型对比评估
- 需要标准化评估流程的持续集成/持续部署（CI/CD）环境
替代项目
lm-evaluation-harness、OpenCompass、DeepEval
上一篇：Veritensor
下一篇：frouros
同类项目推荐
reins
开源
给 AI Agent 加护栏，只做你授权的事
Stop AI agents from doing things you didn't ask for.
content-debiased-fvd
开源
让视频生成评估更公平，去除内容偏差的FVD指标
[CVPR 2024] On the Content Bias in Fréchet Video Distance
lm_understand-logs
开源
把神经网络权重当文本，让大模型读懂并生成
Complete logs of the experiments in the blog post 'LLMs can understand and write neu···
aacr-bench
开源
用真实仓库上下文评测大模型的代码审查能力
An Alibaba open-source multi-language benchmark for evaluating LLMs in repository-le···
AssetOpsBench
开源
工业设备运维智能体，一套基准直接评测落地
AssetOpsBench - Industry 4.0: A unified benchmark and framework for building, orches···
aiewf-eval
开源
专测大模型长上下文下的安全表现
A long-context eval
ICSFSurvey
开源
一图看懂大模型自我修正与推理增强全领域
Explore concepts like Self-Correct, Self-Refine, Self-Improve, Self-Contradict, Self···
harbor
开源
在真实终端里给智能体打分，让改进有据可依
Framework for evaluating and improving agents
deep-eye
开源
多模型编排自动生成载荷，一键扫漏洞出合规报告
Deep Eye orchestrates multiple AI providers (OpenAI, Claude, Grok, Gemini, OLLAMA, G···