prompttools

一键对比测试提示词,选对模型和参数不再靠猜

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 254 🐛 待处理 42 👀 关注 27
GitHub ↗
GitHub 星标 ★ 3060
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源工具,完全免费,可自行部署使用。

项目预览

prompttools 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队hegelai
定价模式🏷️完全免费
价格说明开源工具,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deep-learning,developer-tools,embeddings,large-language-models,llms,machine-learning,prompt-engineering,python,vector-search
GitHub 星标★ 3060
上线时间2023-06-25 00:00:00
代码更新2026-02-11
仓库体积33.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

prompttools 是一个开源的提示词测试与实验工具集,专为 LLM 和向量数据库设计。它解决了提示词工程中缺乏系统化测试和对比的问题,让开发者能快速评估不同模型、参数和提示词组合的效果。核心能力包括:统一接口调用多种 LLM(如 OpenAI、LLaMA)和向量数据库(如 Chroma、Weaviate、LanceDB),支持参数化实验、结果对比、可视化分析,以及通过 Jupyter Notebook 集成实现交互式探索。它提供轻量级的 Python API,无需复杂配置即可开始实验,帮助开发者做出数据驱动的提示词优化决策。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3060

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Python 环境(已安装 pip)
  • 已安装 Jupyter Notebook,用于运行示例
  • 克隆仓库需要 git
  • 使用 OpenAI 相关示例时需准备对应的 API 凭据

安装与启动步骤

  1. 1安装 prompttools

    用 pip 从 PyPI 安装 prompttools 库,这是使用工具集的最简方式,无需克隆代码。

    pip install prompttools
  2. 2克隆示例仓库

    克隆官方仓库以获取 examples 目录下的示例 Notebook,本地运行示例时需要。

    git clone https://github.com/hegelai/prompttools.git
  3. 3进入仓库目录

    切换到刚克隆的 prompttools 目录,后续命令都需在此目录下执行。

    cd prompttools
  4. 4运行示例 Notebook

    启动 Jupyter 并打开 OpenAI 聊天实验示例,按单元格逐步执行即可体验提示词实验。

    jupyter notebook examples/notebooks/OpenAIChatExperiment.ipynb
  5. 5或用 Colab 在线运行

    不想本地配置环境时,可直接打开 README 提供的 Google Colab 链接在线运行该示例。

关键配置

配置项必填说明示例
OPENAI_API_KEY是运行 OpenAI 相关示例 Notebook 时的凭据(README 未明写,属示例所需)sk-xxxxxxxx

如何确认成功

pip 安装无报错;Jupyter 能成功打开 OpenAIChatExperiment.ipynb,并顺畅执行其中的单元格。

常见问题

Q:需要 API Key 吗?

A:README 未明确说明配置方式,但示例 Notebook 名为 OpenAIChatExperiment,使用 OpenAI 模型,通常需自行准备并配置对应 API Key。

Q:支持哪些模型和数据库?

A:支持 OpenAI、Anthropic、LLaMA 等模型,以及向量数据库如 Chroma、Weaviate、LanceDB,可在同一接口下对比实验。

Q:不想本地安装怎么办?

A:README 提供了 Google Colab 链接,可直接在浏览器中打开示例 Notebook 运行,无需本地配置环境。

Q:如何反馈问题或参与共建?

A:可通过邮件 team@hegel-ai.com 联系作者,或加入 README 中给出的 Discord 社区。

注意事项

  • README 只给出最简 Quickstart,详细的参数、配置与接口说明请查阅官方文档 prompttools.readthedocs.io。
  • 示例路径固定为 examples/notebooks/OpenAIChatExperiment.ipynb,请在克隆后的仓库目录内执行。
  • 项目为开源、可自托管工具,同样支持在代码和本地 playground 中使用。

核心亮点

  • 同时支持 LLM 和向量数据库,覆盖检索增强生成场景
  • 参数化实验设计,快速对比模型、提示词、温度等变量
  • Jupyter 集成友好,适合数据科学家和研究者

不足之处

  • 文档和社区规模相对较小,示例和教程有限
  • 对最新模型和数据库的适配可能滞后

适用场景

  • 提示词调优:对比不同措辞对输出质量的影响
  • 模型选型:评估 GPT、LLaMA 等在同一任务上的表现
  • RAG 实验:测试不同向量数据库和检索参数的效果

替代项目

LangChain、PromptLayer、Weights & Biases Prompts

上一篇:S-Eval

下一篇:Awesome-LVLM-Hallucination

同类项目推荐

LLM-Agent-Benchmark-List 开源

一站式查找 LLM 智能体评估基准,省去全网搜索时间

A banchmark list for evaluation of large language models.

★ 173 2026-08-09
agentseal 开源

给 AI 智能体做安全体检,防投毒防注入

Security toolkit for AI agents. Scan your machine for dangerous skills and MCP confi···

★ 382 2026-08-09
auto_LiRPA 开源

给神经网络算严格上下界,验证对抗鲁棒性

auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···

★ 359 2026-10-23
openguardrails 开源

给 AI Agent 加本地规则、沙箱和网络管控三道闸

AI agent guardrails for every builder. Local rules, a sandbox and a firewall for you···

★ 363 2026-11-07
awesome-security-for-ai 开源

一站式导航AI安全工具,快速选型不踩坑

Awesome products for securing AI systems includes open source and commercial options···

★ 91 2026-08-09
PurpleLlama 开源

给大模型装上安全护栏,评测+拦截一步到位

Set of tools to assess and improve LLM security.

★ 4469 2026-09-16
Veritensor 开源

扫描 AI 模型与数据,防投毒、防注入、防泄露

The Anti-Virus for AI Artifacts & RAG Firewall. A static analysis tool scanning Mode···

★ 88 2026-08-09