forge

自托管 LLM 工具调用与多步智能体工作流，轻松搭建私有 AI 代理

forge 是一个 Python 框架，专为自托管大语言模型（LLM）的工具调用和多步智能体工作流而设计。它解决了在本地或私有环境中构建复杂 AI 代理时，如何高效地让模型调用外部工具、管理多步骤任务执行的问题。核心能力包括：提供简洁的 API 来定义和注册工具，支持模型与工具间的动态交互；内置工作流编排引擎，可处理顺序、条件、循环等多步逻辑；支持多种主流自托管模型后端，如 Ollama、vLLM 等，并抽象了模型调用差异；同时提供可观测性接口，便于调试和监控代理行为。forge 强调轻量、灵活，开发者可以快速搭建从简单问答到复杂任务自动化的智能体应用，而无需依赖重量级云服务。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2251

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队antoinezambelli

所属国家

官网地址

GitHubhttps://github.com/antoinezambelli/forge

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型agentic-ai,agentic-workflow,agents,function-calling,llama-cpp,llamafile,llm,ollama,python,self-hosted,tool-calling

GitHub 星标★ 2251

30天Star增速

HF 下载量

上线时间2026-02-16 00:00:00

最近更新2026-09-23 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：进阶约 15 分钟部署方式：库/依赖 7 步

环境要求

Python 3.12 或更高版本
一个正在运行的 LLM 后端（llama-server / Ollama / Anthropic API 三选一）
本地运行 llama-server 或 Ollama 需要可用的硬件（无本地 GPU 时可改用 Anthropic API）
如需使用 Docker 代理，本机需安装 Docker

安装与启动步骤

1确认 Python 版本

forge 的 Python 包要求 Python 3.12+，版本不符需先升级 Python 再继续安装。
```
python --version
```
2安装 forge 核心包

安装核心库，用于 WorkflowRunner、guardrails 中间件、开发或 Python 托管的 Proxy。
```
pip install forge-guardrails
```
3开发模式安装

需要改源码或跑测试时用开发模式安装，会一并装上开发依赖。
```
git clone https://github.com/antoinezambelli/forge.git
cd forge
pip install -e ".[dev]"
```
4启动 llama-server

推荐的本地后端，官方评测前十配置均基于 llama-server；需先从 llama.cpp 发布页安装。
```
llama-server -m path/to/Ministral-3-8B-Instruct-2512-Q8_0.gguf --jinja -ngl 999 --port 8080
```
5安装 Anthropic 后端

没有本地 GPU 时可用 Anthropic API 替代本地后端，先装额外依赖再导出密钥。
```
pip install "forge-guardrails[anthropic]"
export ANTHROPIC_API_KEY=sk-xxxxxxxx
```
6运行 Quick Start 示例

把 README 的示例代码保存为 .py 文件，先在另一个终端启动 llama-server，再运行该脚本。
7构建代理 Docker 镜像

在仓库根目录执行，把 forge 代理打包成名为 forge-proxy 的镜像。
```
docker build -t forge-proxy .
```

关键配置

配置项	必填	说明	示例
`ANTHROPIC_API_KEY`	否	使用 Anthropic API 后端时必填的密钥	`sk-xxxxxxxx`
`gguf_path`	否	LlamafileClient 使用的本地 GGUF 模型文件路径	`path/to/Ministral-3-8B-Instruct-2512-Q8_0.gguf`
`budget_tokens`	否	ContextManager 的上下文 token 预算	`8192`
`keep_recent`	否	TieredCompact 策略保留的最近消息条数	`2`

如何确认成功

运行 python -m pytest tests/ -v --tb=short 全部通过，或 Quick Start 脚本成功返回工具调用结果。

常见问题

Q：没有本地 GPU 能跑吗？

A：可以。README 提供 Anthropic API 后端，无需本地 GPU，安装 forge-guardrails[anthropic] 并设置 ANTHROPIC_API_KEY 即可。

Q：为什么装完 Python 包没有 forge-proxy 命令？

A：Python 包有意不安装全局 forge-proxy 命令，代理请用 python -m forge.proxy；forge-proxy 命令由独立发行版提供。

Q：forge 是多智能体编排器吗？

A：不是。forge 只作用于单个 agent 循环、让工具调用更可靠；多智能体图、DAG 规划与跨智能体协调不在范围内。

Q：Ollama 和 llama-server 怎么选？

A：llama-server 是推荐项，评测表现最好；Ollama 更易安装但在较难任务上略弱，可用 ollama pull ministral-3:8b-instruct-2512-q4_K_M 拉取模型。

注意事项

必须先有一个运行中的 LLM 后端，forge 本身不包含模型。
Python 包不提供全局 forge-proxy 命令，代理统一用 python -m forge.proxy 运行。
llama-server 命令中的 -ngl 999 与 --port 8080 来自 README 示例，可按实际硬件调整。
修改代理相关代码后，建议按 CONTRIBUTING.md 运行确定性代理冒烟测试与真实后端检查。

核心亮点

轻量级框架，无重依赖，易于集成到现有 Python 项目
内置多步工作流引擎，支持条件、循环等复杂逻辑编排
原生支持多种自托管模型后端（如 Ollama、vLLM），降低切换成本

不足之处

文档/社区待观察
生态相对年轻，可参考的成熟案例较少

适用场景

私有化部署的智能客服或助手，需调用内部 API 和数据库
自动化数据处理流水线，需多步骤决策和工具调用
研究实验环境，快速验证 LLM 工具调用与代理工作流

替代项目

LangChain、AutoGen、CrewAI

项目介绍

forge 是开发框架领域的开源项目，由 antoinezambelli 开发，是 2026 年新上线的项目。

在全站 13,014 个收录项目中，它的 GitHub 星标数（2,251）位列前 30%，在开发框架分类中处于中上游。

近 42 天，它的 GitHub 星标从 2,216 增加到 2,251，净增 35。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：私有化部署的智能客服或助手，需调用内部API和数据库。同类可对比的替代方案包括 LangChain、AutoGen、CrewAI。

上一篇：lagent

下一篇：fable-method