用 Prometheus 或 GPT-4 自动给 LLM 回复打分，快速筛选最佳模型。
Prometheus-Eval 是一个用于评估大语言模型（LLM）回复质量的工具，基于 Prometheus 模型和 GPT-4 作为评判标准。它解决了 LLM 评估中依赖人工标注成本高、自动化评估不准确的问题，提供了一套可复现、可扩展的评估框架。核心能力包括：支持使用 Prometheus 开源评估模型或 GPT-4 对模型输出进行打分和排序，提供细粒度的评估维度（如相关性、事实性、逻辑性等），并支持自定义评估标准。项目采用 Python 实现，易于集成到现有 LLM 开发流程中，帮助开发者快速筛选最优模型或提示词。
1安装 prometheus-eval
README 的 Installation 章节给出的唯一安装方式是 pip 安装，库目前处于 beta 阶段。
pip install prometheus-eval2选择推理后端
README 说明支持 vllm 本地推理，也支持通过 litellm 调用 LLM API，按需选择其一。
3准备评估数据
README 指出可对任意 instruction 与 response 组合进行评估，需先准备好待评估的指令与回复对。
4编写评估脚本
在 Python 中调用 prometheus-eval 完成打分或排序，具体代码参见仓库 README 与示例。
在 Python 中执行 import prometheus_eval 不报错，即说明库已成功安装。
Q：只能用 GPT-4 做评判模型吗？
A：不是，README 说明既可用 vllm 在本地跑 Prometheus 系列开源评估模型，也可通过 litellm 调用 LLM API 做评判。
Q：安装或使用中报错怎么办？
A：该库处于 beta 阶段，README 建议在 GitHub 仓库提交 issue 反馈问题。
Q：本地跑评估需要 GPU 吗？
A：README 未说明硬件要求；走 vllm 本地推理通常需要相适配的硬件，走 API 方式则不需要。
OpenAI Evals、LangChain Evaluators、DeepEval
prometheus-eval 是评测安全领域的开源项目，由 prometheus-eval 开发，2024 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（1,117）位列前 30%，在评测安全分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-20。Apache-2.0 许可证，可自由使用和部署，无收费计划。
它主要面向的使用场景是：在LLM开发中对比多个候选模型的回复质量，选择最优模型。同类可对比的替代方案包括 OpenAI Evals、LangChain Evaluators、DeepEval。
上一篇：athina-evals
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.