promptpex 是评测安全领域的开源项目，由 microsoft 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 164。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-08-25。基于CC-BY-4.0许可证，提供在线文档和工具，完全免费使用。从国内网络环境看，可直接访问。
它主要面向的使用场景是：提示词版本迭代时的回归测试。同类可对比的替代方案包括 OpenAI Evals、Promptfoo、LangSmith。
promptpex
自动生成提示词测试用例，让 Prompt 迭代更稳更高效
promptpex 是一个专注于提示词（Prompt）测试生成的开源项目，旨在为 LLM 应用开发者提供系统化的提示词评估与测试方案。它解决的核心问题是：提示词的微小改动可能导致模型输出质量波动，而人工测试费时费力且难以覆盖边界场景。项目基于 GPT-4o 等模型，通过自动化生成测试用例，帮助开发者验证提示词在不同输入下的表现，支持回归测试、性能对比和错误分析。其核心能力包括：自动生成多样化的测试输入、批量运行评估、结果对比与报告生成，从而提升提示词工程的可靠性和迭代效率。项目当前处于早期阶段，文档和社区生态尚在建设中。
开源
free
对话助手
GitHub 星标
★ 164
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队microsoft
所属国家
定价模式free
价格说明开源项目，基于CC-BY-4.0许可证，提供在线文档和工具，完全免费使用。
访问状态
是否开源是
开源协议CC-BY-4.0
主要语言TeX
技术栈/模型chatgpt,evals,evaluations,gpt-4o,llms,prompt-engineering,testing
GitHub 星标★ 164
30天Star增速
HF 下载量
上线时间2024-07-09 00:00:00
最近更新2026-08-25 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1
使用教程
核心亮点
- 针对提示词测试的专门方案，填补了通用测试工具在 LLM 场景的空白
- 自动化生成测试用例，减少人工设计成本，覆盖更多边界情况
- 基于 GPT-4o 等模型，评估结果更贴近实际应用表现
不足之处
- 项目处于早期，文档和社区支持待观察
- 依赖外部 LLM API，可能产生费用和延迟
适用场景
- 提示词版本迭代时的回归测试
- 对比不同提示词在相同任务上的效果
- 上线前对提示词进行边界场景验证
替代项目
OpenAI Evals、Promptfoo、LangSmith
项目介绍
上一篇：Rules.txt
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···