LLMeBench 是评测安全领域的开源项目，由 qcri 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 108。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-23。可自行部署使用，无付费版本。
它主要面向的使用场景是：技术选型时对比多个LLM的性能。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、HELM。
LLMeBench
一键跑分，快速对比各大语言模型效果
LLMeBench 是一个用于基准测试大型语言模型（LLM）的开源工具，旨在标准化评估流程，帮助开发者比较不同模型的性能。它解决了 LLM 评测中缺乏统一框架、结果难以复现的问题。核心能力包括：支持多种主流模型（如 GPT、Llama 等）的接入，提供可配置的测试任务和数据集，自动生成结构化报告，并支持自定义评估指标。项目基于 Python 构建，接口简洁，便于集成到现有工作流中。目前处于早期阶段（星标 107），但已具备基本的评测框架，适合需要快速对比模型效果的开发者和研究者使用。
开源
free
开源模型
GitHub 星标
★ 108
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队qcri
所属国家
定价模式free
价格说明开源项目，可自行部署使用，无付费版本。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型benchmarking,large-language-models,llm,multilingual
GitHub 星标★ 108
30天Star增速
HF 下载量
上线时间2023-05-28 00:00:00
最近更新2026-08-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 统一评测框架，支持多模型接入，省去重复搭建测试环境
- 可自定义测试任务和指标，灵活适配不同业务场景
- 自动生成报告，结果直观，便于团队决策
不足之处
- 文档/社区待观察
- 目前支持的模型和数据集数量有限，扩展性待验证
适用场景
- 技术选型时对比多个 LLM 的性能
- 内部模型迭代后回归测试效果
- 学术研究中标准化评估模型能力
替代项目
lm-evaluation-harness、OpenCompass、HELM
项目介绍
上一篇：TrustLLM
下一篇：FollowBench
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···