prompttools

一键对比测试提示词，选对模型和参数不再靠猜

prompttools 是一个开源的提示词测试与实验工具集，专为 LLM 和向量数据库设计。它解决了提示词工程中缺乏系统化测试和对比的问题，让开发者能快速评估不同模型、参数和提示词组合的效果。核心能力包括：统一接口调用多种 LLM（如 OpenAI、LLaMA）和向量数据库（如 Chroma、Weaviate、LanceDB），支持参数化实验、结果对比、可视化分析，以及通过 Jupyter Notebook 集成实现交互式探索。它提供轻量级的 Python API，无需复杂配置即可开始实验，帮助开发者做出数据驱动的提示词优化决策。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3055

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队hegelai

所属国家

官网地址

GitHubhttps://github.com/hegelai/prompttools

定价模式free

价格说明开源工具，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型deep-learning,developer-tools,embeddings,large-language-models,llms,machine-learning,prompt-engineering,python,vector-search

GitHub 星标★ 3055

30天Star增速

HF 下载量

上线时间2023-06-25 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数1

使用教程

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

Python 环境（已安装 pip）
已安装 Jupyter Notebook，用于运行示例
克隆仓库需要 git
使用 OpenAI 相关示例时需准备对应的 API 凭据

安装与启动步骤

1安装 prompttools

用 pip 从 PyPI 安装 prompttools 库，这是使用工具集的最简方式，无需克隆代码。
```
pip install prompttools
```
2克隆示例仓库

克隆官方仓库以获取 examples 目录下的示例 Notebook，本地运行示例时需要。
```
git clone https://github.com/hegelai/prompttools.git
```
3进入仓库目录

切换到刚克隆的 prompttools 目录，后续命令都需在此目录下执行。
```
cd prompttools
```
4运行示例 Notebook

启动 Jupyter 并打开 OpenAI 聊天实验示例，按单元格逐步执行即可体验提示词实验。
```
jupyter notebook examples/notebooks/OpenAIChatExperiment.ipynb
```
5或用 Colab 在线运行

不想本地配置环境时，可直接打开 README 提供的 Google Colab 链接在线运行该示例。

关键配置

配置项	必填	说明	示例
`OPENAI_API_KEY`	是	运行 OpenAI 相关示例 Notebook 时的凭据（README 未明写，属示例所需）	`sk-xxxxxxxx`

如何确认成功

pip 安装无报错；Jupyter 能成功打开 OpenAIChatExperiment.ipynb，并顺畅执行其中的单元格。

常见问题

Q：需要 API Key 吗？

A：README 未明确说明配置方式，但示例 Notebook 名为 OpenAIChatExperiment，使用 OpenAI 模型，通常需自行准备并配置对应 API Key。

Q：支持哪些模型和数据库？

A：支持 OpenAI、Anthropic、LLaMA 等模型，以及向量数据库如 Chroma、Weaviate、LanceDB，可在同一接口下对比实验。

Q：不想本地安装怎么办？

A：README 提供了 Google Colab 链接，可直接在浏览器中打开示例 Notebook 运行，无需本地配置环境。

Q：如何反馈问题或参与共建？

A：可通过邮件 team@hegel-ai.com 联系作者，或加入 README 中给出的 Discord 社区。

注意事项

README 只给出最简 Quickstart，详细的参数、配置与接口说明请查阅官方文档 prompttools.readthedocs.io。
示例路径固定为 examples/notebooks/OpenAIChatExperiment.ipynb，请在克隆后的仓库目录内执行。
项目为开源、可自托管工具，同样支持在代码和本地 playground 中使用。

核心亮点

同时支持 LLM 和向量数据库，覆盖检索增强生成场景
参数化实验设计，快速对比模型、提示词、温度等变量
Jupyter 集成友好，适合数据科学家和研究者

不足之处

文档和社区规模相对较小，示例和教程有限
对最新模型和数据库的适配可能滞后

适用场景

提示词调优：对比不同措辞对输出质量的影响
模型选型：评估 GPT、LLaMA 等在同一任务上的表现
RAG 实验：测试不同向量数据库和检索参数的效果

替代项目

LangChain、PromptLayer、Weights & Biases Prompts

项目介绍

prompttools 是评测安全领域的开源项目，由 hegelai 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（3,055）位列前 30%，在评测安全分类的 458 个项目里位列前 10%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。开源工具，完全免费，可自行部署使用。

它主要面向的使用场景是：提示词调优：对比不同措辞对输出质量的影响。同类可对比的替代方案包括 LangChain、PromptLayer、Weights & Biases Prompts。

上一篇：S-Eval

下一篇：Awesome-LVLM-Hallucination