promptfoo

一条命令测试你的提示词和模型，防漏洞防降级。

promptfoo 是一个开源的 LLM 评估与红队测试框架，用于系统化测试提示词、智能体（agents）和 RAG 应用。它解决了 AI 应用开发中缺乏标准化评估手段的问题，帮助开发者量化比较不同模型（GPT、Claude、Gemini、DeepSeek 等）和提示词变体的性能差异。核心能力包括：声明式 YAML 配置定义测试用例和断言，支持自动化运行与 CI/CD 集成；内置红队测试和漏洞扫描功能，可探测提示注入、越狱等安全风险；提供命令行工具和 Web 界面，便于查看测试结果和性能对比。被 OpenAI 和 Anthropic 等公司采用，适合在开发、测试和生产部署前对 LLM 应用进行持续回归验证。

开源 freemium 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 25372

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类基础设施

开发团队promptfoo

所属国家

官网地址https://promptfoo.dev

GitHubhttps://github.com/promptfoo/promptfoo

定价模式freemium

价格说明开源核心免费，提供云端托管服务，有免费额度，付费解锁更多功能。

访问状态

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ci,ci-cd,cicd,evaluation,evaluation-framework,llm,llm-eval,llm-evaluation,llm-evaluation-framework,llmops,pentesting,prompt-engineering,prompt-testing,prompts,rag,red-teaming,testing,vulnerability-scanners

GitHub 星标★ 25372

30天Star增速

HF 下载量

上线时间2023-04-28 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Node.js >= 22.22.0（推荐 Node.js 24 LTS）
可用的 LLM 提供商 API Key（如 OpenAI）
终端可执行 npm / npx 命令

安装与启动步骤

1安装 promptfoo

全局安装 CLI，安装后即可在任意目录使用 promptfoo 命令。
```
npm install -g promptfoo
```
2初始化示例

用内置的 getting-started 示例生成配置文件和目录，便于快速上手。
```
promptfoo init --example getting-started
```
3设置 API Key

大多数 LLM 提供商需要 API Key，通过环境变量传入，注意换成你自己的真实 Key。
```
export OPENAI_API_KEY=sk-abc123
```
4进入示例目录

切换到 init 生成的 getting-started 目录，后续命令都在此目录执行。
```
cd getting-started
```
5运行评估

按 YAML 配置执行测试用例与断言，命令行会输出各提示词/模型的结果对比。
```
promptfoo eval
```
6查看结果

启动 Web 界面浏览评估结果与性能对比，按终端提示的本地地址在浏览器打开。
```
promptfoo view
```

关键配置

配置项	必填	说明	示例
`OPENAI_API_KEY`	是	LLM 提供商的 API 密钥，供 eval 调用模型时鉴权使用	`sk-abc123`

如何确认成功

promptfoo eval 正常输出评估结果表格，promptfoo view 能打开 Web 界面查看对比结果。

常见问题

Q：没有安装 Node.js 怎么办？

A：promptfoo 也支持 brew install promptfoo 或 pip install promptfoo；此外可用 npx promptfoo@latest 在免安装的情况下运行任意命令。

Q：Node.js 版本有要求吗？

A：README 要求 Node.js >= 22.22.0，推荐使用 Node.js 24 LTS，版本过低可能导致安装或运行失败。

Q：不想全局安装可以吗？

A：可以，使用 npx promptfoo@latest 直接运行命令，无需 npm install -g。

Q：必须配置 API Key 吗？

A：大多数 LLM 提供商需要 API Key，README 建议将其设置为环境变量后再执行 eval。

注意事项

promptfoo 已加入 OpenAI，但仍保持开源并采用 MIT 许可证。
除评估（eval）外，还提供红队测试/漏洞扫描能力，可参考官方 Red Teaming 文档。

核心亮点

声明式配置，几分钟内创建测试集，支持批量对比模型和提示词
内置红队测试和漏洞扫描，主动发现提示注入和越狱风险
深度集成 CI/CD，可自动拦截模型性能回退

不足之处

高级红队功能依赖外部 API，可能产生额外成本
文档/社区待观察

适用场景

LLM 应用开发中对比提示词和模型选型
CI/CD 中自动回归测试，防止性能下降
安全团队对 AI 应用进行红队安全审计

替代项目

DeepEval、LangSmith、Ragas

项目介绍

promptfoo 是评测安全领域的开源项目，由 promptfoo 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（25,372）位列前 2%，在评测安全分类的 458 个项目里位列前 1%。

近 44 天，它的 GitHub 星标从 24,085 增加到 25,372，净增 1,287。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源核心免费，提供云端托管服务，有免费额度，付费解锁更多功能。从国内网络环境看，可直接访问。

它主要面向的使用场景是：LLM应用开发中对比提示词和模型选型。同类可对比的替代方案包括 DeepEval、LangSmith、Ragas。

上一篇：awesome-MLSecOps

下一篇：opik