promptfoo

一条命令测试你的提示词和模型，防漏洞防降级。

开源 🏷️基础免费，高级付费 ✅ 目前可打开基础设施 🍴 复刻 2678 🐛 待处理 931 👀 关注 75

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 26936

维护状态活跃

是否开源开源

定价模式 🏷️基础免费，高级付费支持限时试用 · 开源核心免费，提供云端托管服务，有免费额度，付费解锁更多功能。

项目预览

项目数据

分类基础设施

开发团队promptfoo

官网地址https://promptfoo.dev

GitHubhttps://github.com/promptfoo/promptfoo

定价模式🏷️基础免费，高级付费

价格说明开源核心免费，提供云端托管服务，有免费额度，付费解锁更多功能。

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ci,ci-cd,cicd,evaluation,evaluation-framework,llm,llm-eval,llm-evaluation,llm-evaluation-framework,llmops,pentesting,prompt-engineering,prompt-testing,prompts,rag,red-teaming,testing,vulnerability-scanners

GitHub 星标★ 26936

上线时间2023-04-28 00:00:00

代码更新2026-11-07

仓库体积794.4 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数6

项目介绍

promptfoo 是一个开源的 LLM 评估与红队测试框架，用于系统化测试提示词、智能体（agents）和 RAG 应用。它解决了 AI 应用开发中缺乏标准化评估手段的问题，帮助开发者量化比较不同模型（GPT、Claude、Gemini、DeepSeek 等）和提示词变体的性能差异。核心能力包括：声明式 YAML 配置定义测试用例和断言，支持自动化运行与 CI/CD 集成；内置红队测试和漏洞扫描功能，可探测提示注入、越狱等安全风险；提供命令行工具和 Web 界面，便于查看测试结果和性能对比。被 OpenAI 和 Anthropic 等公司采用，适合在开发、测试和生产部署前对 LLM 应用进行持续回归验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 26936

技术标签

ci-cd cicd evaluation evaluation-framework llm

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Node.js >= 22.22.0（推荐 Node.js 24 LTS）
可用的 LLM 提供商 API Key（如 OpenAI）
终端可执行 npm / npx 命令

安装与启动步骤

1安装 promptfoo

全局安装 CLI，安装后即可在任意目录使用 promptfoo 命令。
```
npm install -g promptfoo
```
2初始化示例

用内置的 getting-started 示例生成配置文件和目录，便于快速上手。
```
promptfoo init --example getting-started
```
3设置 API Key

大多数 LLM 提供商需要 API Key，通过环境变量传入，注意换成你自己的真实 Key。
```
export OPENAI_API_KEY=sk-abc123
```
4进入示例目录

切换到 init 生成的 getting-started 目录，后续命令都在此目录执行。
```
cd getting-started
```
5运行评估

按 YAML 配置执行测试用例与断言，命令行会输出各提示词/模型的结果对比。
```
promptfoo eval
```
6查看结果

启动 Web 界面浏览评估结果与性能对比，按终端提示的本地地址在浏览器打开。
```
promptfoo view
```