llm-eval 是评测安全领域的开源项目，由 justplus 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 98。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-31。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：对比不同大模型在标准基准上的性能表现。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、DeepEval。
llm-eval
一站式跑分，快速对比大模型与 RAG 效果
llm-eval 是一个面向大语言模型的评估平台，旨在解决模型性能难以量化、对比缺乏标准的问题。它支持多种主流评估基准（如 MMLU、GSM8K 等），允许用户上传自定义数据集进行测试，并特别提供了针对 RAG（检索增强生成）场景的评估能力。核心能力包括：统一的评估流程管理、多模型并行对比、详细的指标报告（如准确率、F1、召回率等），以及灵活的配置方式。通过该平台，开发者可以快速验证模型在特定任务上的表现，或持续追踪模型迭代带来的效果变化。项目采用 Python 编写，API 设计简洁，适合集成到现有开发流程中。目前处于早期阶段，但已具备基本完整的评估框架，对于需要系统化评估模型或构建 RAG 应用的团队具有实用价值。
开源
free
开源模型
GitHub 星标
★ 98
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队justplus
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型evalscope,evaluation,large-language-models,llm,rag
GitHub 星标★ 98
30天Star增速
HF 下载量
上线时间2025-06-07 00:00:00
最近更新2026-07-31 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 内置多种主流基准，开箱即用，省去搭建评估环境的麻烦
- 支持自定义数据集，能针对业务场景定制评估任务
- 提供 RAG 专项评估，直接命中检索增强应用的核心痛点
不足之处
- 项目尚在早期，文档和社区生态有待完善
- 评估指标和可视化报告相对基础，深度分析能力有限
适用场景
- 对比不同大模型在标准基准上的性能表现
- 验证 RAG 系统在特定知识库上的检索与生成质量
- 在模型迭代或微调后，快速回归测试效果
替代项目
lm-evaluation-harness、OpenCompass、DeepEval
项目介绍
下一篇：DSBench
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···