helm

一站式跑分对比大模型，多维度评测可复现

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 436 🐛 待处理 122 👀 关注 39

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2964

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源免费，遵循相应开源许可证

项目预览

项目数据

分类评测安全

开发团队stanford-crfm

官网地址https://crfm.stanford.edu/helm

GitHubhttps://github.com/stanford-crfm/helm

定价模式🏷️完全免费

价格说明开源免费，遵循相应开源许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

GitHub 星标★ 2964

上线时间2021-11-29 00:00:00

代码更新2026-09-01

仓库体积127.2 MB

本站数据更新2026-11-04

维护状态维护中

收录时间2026-09-15

浏览次数1

项目介绍

HELM 是斯坦福 CRFM 团队开源的 Python 评测框架，用于对大语言模型和多模态基础模型做全面、可复现、透明的评估。它解决的核心问题是：模型评测往往口径不一、结果难以复现、只覆盖单一指标。HELM 把评测拆成场景、任务、指标、模型适配器四层结构，内置大量标准数据集与任务（如问答、摘要、推理、安全、公平性、偏见等），并统一用自动化流程跑分，输出多维度对比结果。用户可以用它横向比较不同模型在准确率、鲁棒性、校准度、效率、公平性等维度的表现，也能自定义任务和模型接入。框架强调可复现性，评测配置和原始结果可追踪，适合研究机构和企业做模型选型与风险审查。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 2964

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：命令行工具 3 步

环境要求

Python 3 环境与 pip（README 未指定最低版本）
可访问 PyPI 的网络，用于安装 crfm-helm
若评测 OpenAI、Anthropic Claude、Google Gemini 等在线模型，需具备对应提供商的访问凭证（README 未给出具体配置方式）
本地需有足够磁盘空间存放数据集与评测结果

安装与启动步骤

1安装 HELM 包

README 的 Quick Start 直接给出从 PyPI 安装 crfm-helm，建议在虚拟环境中执行，避免污染系统 Python。
```
pip install crfm-helm
```
2确认命令可用

安装完成后检查 helm-run 是否已进入 PATH；若提示找不到命令，说明安装环境与当前 shell 不是同一个 Python 环境。
```
helm-run --help
```
3运行评测

用 --run-entries 指定任务与模型，--suite 给本次评测套件命名，--max-eval-instances 限制样本数以便快速试跑。
```
helm-run --run-entries mmlu:subject=philosophy,model=openai/gpt2 --suite my-suite --max-eval-instances 10
```

关键配置

配置项	必填	说明	示例
`--run-entries`	是	指定要跑的任务条目，格式为任务:参数=值,模型=提供商/模型名	`mmlu:subject=philosophy,model=openai/gpt2`
`--suite`	是	本次评测套件的名称，用于归集与区分不同批次的运行结果	`my-suite`
`--max-eval-instances`	否	限制参与评测的样本数量，调小可加快试跑速度	`10`

如何确认成功

命令正常执行结束且无报错，即表示 helm-run 已按套件 my-suite 完成这次试跑（README 未说明具体输出目录）。

常见问题

Q：HELM 支持评测哪些模型？

A：README 说明可通过统一接口访问多家提供商的模型，例如 OpenAI 模型、Anthropic Claude、Google Gemini，并可自定义接入。具体可用模型清单请查官方文档。

Q：HELM 包含哪些数据集和指标？

A：内置标准化格式的数据集与基准（如 MMLU-Pro、GPQA、IFEval、WildBench），指标不限于准确率，还覆盖效率、偏见、毒性等维度。

Q：可以查看单条 prompt 和模型的回答吗？

A：可以。README 提到框架提供 Web UI，用于查看单条 prompt 与对应回答（README 节选中该部分内容不完整，未给出具体启动命令）。

Q：项目还在持续更新吗？

A：README 注明 HELM 已于 2026 年 6 月 1 日进入维护模式，详见官方文档的 Maintenance Mode Policy 页面。

注意事项

README 节选里的 Quick Start 内容被截断，完整的后续步骤（如结果汇总、Web 界面启动）请查看官方文档 https://crfm-helm.readthedocs.io/en/latest/。
示例中的 --max-eval-instances 10 只跑 10 条样本，仅适合验证流程，正式评测需去掉或调大该参数。
评测在线模型会产生调用费用，正式跑全量任务前建议先用小样本试跑确认配置。
本教程仅覆盖 README 中明确出现的命令，未出现的参数、端口和路径一律未做推测。