ChainForge

拖拽节点,批量测试提示词,多模型效果一目了然

ChainForge 是一个开源的视觉编程环境,专为测试和评估大语言模型(LLM)的提示词而设计。它允许用户通过拖拽节点的方式构建提示词流程,并同时向多个模型(如GPT、Claude等)发送请求,从而快速比较不同模型或提示词变体的输出质量。核心能力包括:可视化流程编辑、多模型并行调用、结果对比与评分、以及基于评分标准(如自定义指标或LLM评判)的自动化评估。它解决了提示词工程中反复手动测试、缺乏系统比较的问题,帮助开发者更高效地迭代和优化提示词,确保模型输出符合预期。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3032
维护状态 活跃
是否开源
定价模式 free

项目数据

分类开源模型
开发团队ianarawjo
所属国家
定价模式free
价格说明开源项目,MIT 许可证,可免费使用和部署。
访问状态
是否开源
开源协议MIT
主要语言TypeScript
技术栈/模型ai,evaluation,large-language-models,llmops,llms,prompt-engineering
GitHub 星标★ 3032
30天Star增速
HF 下载量
上线时间2023-03-26 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:入门 约 8 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3.8 或更高版本
  • 已安装 pip,可正常执行 pip 命令
  • Google Chrome、Firefox、Microsoft Edge 或 Brave 浏览器之一
  • (可选)如需 Docker 方式运行,需安装 Docker Desktop
  • (可选)OpenAI、Anthropic、Google 等模型的 API Key 或 Amazon AWS 凭证

安装与启动步骤

  1. 1检查 Python 版本

    在终端确认 Python 版本不低于 3.8,版本过低会导致安装或运行失败。

    python --version
  2. 2安装 ChainForge

    用 pip 从 PyPI 安装 chainforge 包,安装完成后会提供 chainforge 命令行入口。

    pip install chainforge
  3. 3启动本地服务

    执行 serve 命令启动本地服务,默认监听 8000 端口,保持终端窗口不要关闭。

    chainforge serve
  4. 4浏览器打开界面

    用 Chrome、Firefox、Edge 或 Brave 打开 http://localhost:8000,即可看到可视化流程编辑界面。

  5. 5配置模型 API Key

    点击界面右上角 Settings 图标填入 OpenAI、Anthropic、Google 等 API Key;希望免重复填写可写入本地环境变量。

  6. 6Docker 方式运行(可选)

    若已装 Docker Desktop,可改为构建镜像并运行容器,同样暴露 8000 端口。

    docker build -t chainforge .
    docker run -p 8000:8000 chainforge

关键配置

配置项必填说明示例
API Key(OpenAI/Anthropic/Google 等)调用对应厂商模型所必需的密钥,可在界面 Settings 中填写或存入环境变量sk-xxxxxxxx
Amazon AWS 凭证如需调用 AWS 上的模型服务,需要配置对应的访问凭证AKIAxxxxxxxx

如何确认成功

浏览器访问 http://localhost:8000(Docker 方式为 http://127.0.0.1:8000)能正常加载 ChainForge 可视化界面即启动成功。

常见问题

Q:不想本地安装可以先用吗?

A:可以。README 提到网页版 https://chainforge.ai/play/ 可直接使用,但功能受限,无法加载环境变量密钥、写 Python 评估代码或调用 Ollama 本地模型。

Q:支持哪些浏览器?

A:README 建议使用 Google Chrome、Firefox、Microsoft Edge 或 Brave。

Q:每次打开都要重新填 API Key 吗?

A:不需要。README 强烈建议把 OpenAI、Anthropic、Google 等 API Key 或 AWS 凭证保存到本地环境变量,本地版会自动读取。

Q:本地安装比网页版多了什么能力?

A:本地版可从环境变量自动加载 API Key、可编写 Python 代码评估 LLM 响应,还能调用通过 Ollama 托管的本地模型。

注意事项

  • 网页版功能集有限,需要完整能力(环境变量密钥、Python 评估、Ollama)请本地安装。
  • Python 版本必须为 3.8 或更高。
  • chainforge serve 默认使用 8000 端口,Docker 运行时需要做 8000:8000 端口映射。
  • Docker 步骤要求在 ChainForge 仓库根目录(存在 Dockerfile 的位置)执行 docker build。

核心亮点

  • 可视化拖拽界面,无需编程即可构建复杂的提示词测试流程,降低使用门槛
  • 支持同时调用多个LLM(OpenAI、Anthropic等),并排对比输出结果,节省时间
  • 内置评分和评估功能,可自定义标准,自动化筛选最优提示词,提升迭代效率

不足之处

  • 项目仍处于早期阶段,文档和社区生态相对薄弱,高级功能可能需要自行探索
  • 对大规模测试场景(如数百个提示词)的性能优化尚不明确,可能影响效率

适用场景

  • 提示词工程师快速验证和比较不同提示词变体在多个模型上的表现
  • 开发者在模型选型时,批量测试各模型对特定任务的响应质量
  • 研究或教学场景中,可视化展示LLM输出差异,辅助分析模型行为

替代项目

LangChain、Promptfoo、OpenAI Evals

项目介绍

ChainForge 是开发框架领域的开源项目,由 ianarawjo 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(3,032)位列前 30%,在开发框架分类中处于中上游。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。MIT 许可证,可免费使用和部署。

它主要面向的使用场景是:提示词工程师快速验证和比较不同提示词变体在多个模型上的表现。同类可对比的替代方案包括 LangChain、Promptfoo、OpenAI Evals。

上一篇:ontogpt

下一篇:compose-for-agents

同类项目推荐

langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 146874 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 166529 2026-08-09
pi 开源

一套 TypeScript 工具包,快速搭出能写代码的 AI agent

AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI

★ 108504 2026-09-12