ChainForge

拖拽节点,批量测试提示词,多模型效果一目了然

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 261 🐛 待处理 70 👀 关注 32
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3041
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT 许可证,可免费使用和部署。

项目预览

ChainForge 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队ianarawjo
定价模式🏷️完全免费
价格说明开源项目,MIT 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,evaluation,large-language-models,llmops,llms,prompt-engineering
GitHub 星标★ 3041
上线时间2023-03-26 00:00:00
代码更新2026-10-29
仓库体积199.0 MB
本站数据更新2026-11-08
维护状态较活跃
收录时间2026-08-09
浏览次数5

项目介绍

ChainForge 是一个开源的视觉编程环境,专为测试和评估大语言模型(LLM)的提示词而设计。它允许用户通过拖拽节点的方式构建提示词流程,并同时向多个模型(如GPT、Claude等)发送请求,从而快速比较不同模型或提示词变体的输出质量。核心能力包括:可视化流程编辑、多模型并行调用、结果对比与评分、以及基于评分标准(如自定义指标或LLM评判)的自动化评估。它解决了提示词工程中反复手动测试、缺乏系统比较的问题,帮助开发者更高效地迭代和优化提示词,确保模型输出符合预期。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3041

使用教程

难度:入门 约 8 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3.8 或更高版本
  • 已安装 pip,可正常执行 pip 命令
  • Google Chrome、Firefox、Microsoft Edge 或 Brave 浏览器之一
  • (可选)如需 Docker 方式运行,需安装 Docker Desktop
  • (可选)OpenAI、Anthropic、Google 等模型的 API Key 或 Amazon AWS 凭证

安装与启动步骤

  1. 1检查 Python 版本

    在终端确认 Python 版本不低于 3.8,版本过低会导致安装或运行失败。

    python --version
  2. 2安装 ChainForge

    用 pip 从 PyPI 安装 chainforge 包,安装完成后会提供 chainforge 命令行入口。

    pip install chainforge
  3. 3启动本地服务

    执行 serve 命令启动本地服务,默认监听 8000 端口,保持终端窗口不要关闭。

    chainforge serve
  4. 4浏览器打开界面

    用 Chrome、Firefox、Edge 或 Brave 打开 http://localhost:8000,即可看到可视化流程编辑界面。

  5. 5配置模型 API Key

    点击界面右上角 Settings 图标填入 OpenAI、Anthropic、Google 等 API Key;希望免重复填写可写入本地环境变量。

  6. 6Docker 方式运行(可选)

    若已装 Docker Desktop,可改为构建镜像并运行容器,同样暴露 8000 端口。

    docker build -t chainforge .
    docker run -p 8000:8000 chainforge

关键配置

配置项必填说明示例
API Key(OpenAI/Anthropic/Google 等)是调用对应厂商模型所必需的密钥,可在界面 Settings 中填写或存入环境变量sk-xxxxxxxx
Amazon AWS 凭证否如需调用 AWS 上的模型服务,需要配置对应的访问凭证AKIAxxxxxxxx

如何确认成功

浏览器访问 http://localhost:8000(Docker 方式为 http://127.0.0.1:8000)能正常加载 ChainForge 可视化界面即启动成功。

常见问题

Q:不想本地安装可以先用吗?

A:可以。README 提到网页版 https://chainforge.ai/play/ 可直接使用,但功能受限,无法加载环境变量密钥、写 Python 评估代码或调用 Ollama 本地模型。

Q:支持哪些浏览器?

A:README 建议使用 Google Chrome、Firefox、Microsoft Edge 或 Brave。

Q:每次打开都要重新填 API Key 吗?

A:不需要。README 强烈建议把 OpenAI、Anthropic、Google 等 API Key 或 AWS 凭证保存到本地环境变量,本地版会自动读取。

Q:本地安装比网页版多了什么能力?

A:本地版可从环境变量自动加载 API Key、可编写 Python 代码评估 LLM 响应,还能调用通过 Ollama 托管的本地模型。

注意事项

  • 网页版功能集有限,需要完整能力(环境变量密钥、Python 评估、Ollama)请本地安装。
  • Python 版本必须为 3.8 或更高。
  • chainforge serve 默认使用 8000 端口,Docker 运行时需要做 8000:8000 端口映射。
  • Docker 步骤要求在 ChainForge 仓库根目录(存在 Dockerfile 的位置)执行 docker build。

核心亮点

  • 可视化拖拽界面,无需编程即可构建复杂的提示词测试流程,降低使用门槛
  • 支持同时调用多个LLM(OpenAI、Anthropic等),并排对比输出结果,节省时间
  • 内置评分和评估功能,可自定义标准,自动化筛选最优提示词,提升迭代效率

不足之处

  • 项目仍处于早期阶段,文档和社区生态相对薄弱,高级功能可能需要自行探索
  • 对大规模测试场景(如数百个提示词)的性能优化尚不明确,可能影响效率

适用场景

  • 提示词工程师快速验证和比较不同提示词变体在多个模型上的表现
  • 开发者在模型选型时,批量测试各模型对特定任务的响应质量
  • 研究或教学场景中,可视化展示LLM输出差异,辅助分析模型行为

替代项目

LangChain、Promptfoo、OpenAI Evals

上一篇:ontogpt

下一篇:compose-for-agents

同类项目推荐

synalinks 开源

用图编程快速构建可解释的神经符号AI应用

Keras based framework for neuro-symbolic LM systems

★ 464 2026-08-09
prompt-decorators 开源

用装饰器标记替代长提示词,让 AI 输出更聪明、更规整。

Prompt Decorators are structured prefixes, such as +++Reasoning and +++StepByStep, d···

★ 480 2026-08-09
genai-stack 开源

一键搭建端到端生成式 AI 应用,省去集成烦恼

An End to End GenAI Framework

★ 131 2026-08-09
farm.js 开源

一套全栈代码,同时驱动网页和 AI Agent

a full-stack, renderer-agnostic framework for the web and agents, with an experiment···

★ 670 2026-10-27
collaborative-gym 开源

搭建并评估能与人类协作的 AI 智能体,快速验证协作效果。

Framework and toolkits for building and evaluating collaborative agents that can wor···

★ 171 2026-08-09
swarmauri-sdk 开源

模块化 AI 智能体 SDK,快速组装 LLM 应用

Modular Python SDK and monorepo for AI agents, LLM integrations, tools, parsers, emb···

★ 105 2026-08-09
streamlit-webrtc 开源

几行 Python 让 Streamlit 应用实时处理摄像头音视频

Real-time video and audio processing on Streamlit

★ 1713 2026-09-17
sactive-bot 开源

一套代码,让机器人跑遍所有聊天平台

:smiling_imp: An extensible chat bot framework. sactive-bot is an evolution of the ···

★ 211 2026-08-09