cascadeflow

环境要求

• Python 环境，可执行 pip install（安装 cascadeflow 主包）
• Node.js/npm 环境（使用 TypeScript 版 @cascadeflow/core 时需要）
• LangChain 相关聊天模型包（示例用到 langchain-openai 与 langchain_anthropic）
• 可访问的 n8n 实例（使用 n8n 社区节点时需要）

安装与启动步骤

1. 1安装核心库

   使用 pip 安装 cascadeflow 主包，这是 Python 侧级联运行时的核心依赖。

   pip install cascadeflow

   复制

2. 2安装LangChain集成

   README 给出的 Python 集成安装命令，同时装上 langchain-openai 用于示例中的 drafter 模型。

   pip install cascadeflow langchain-openai

   复制

3. 3可选装语义校验

   需要 ML 语义质量校验时安装该扩展，会通过 FastEmbed 引入约 80MB 的模型。

   pip install cascadeflow[semantic]

   复制

4. 4编写级联脚本

   按 README 示例创建级联对象：配置 drafter、verifier 和 quality_threshold，再调用 invoke。

   from langchain_openai import ChatOpenAI
   from langchain_anthropic import ChatAnthropic
   from cascadeflow.integrations.langchain import CascadeFlow
   
   cascade = CascadeFlow(
       drafter=ChatOpenAI(model="nous/hermes-flash"),
       verifier=ChatAnthropic(model="claude-sonnet-4-5"),
       quality_threshold=0.8,
   )
   
   result = cascade.invoke("Explain quantum computing")
   print(result)

   复制

5. 5运行脚本

   把上面的代码保存为文件后执行，观察级联路由与输出结果。

   python cascade_demo.py

   复制

6. 6安装TypeScript版

   前端或 Node 项目可直接安装核心包，LangChain 版则装 @cascadeflow/langchain 及配套依赖。

   npm install @cascadeflow/core

   复制

7. 7n8n社区节点安装

   在 n8n 中依次进入 Settings → Community Nodes，搜索并安装该社区节点，无需命令行。

关键配置

如何确认成功

脚本运行后能打印出答案，并可通过 result.model_used、result.total_cost 查看实际使用的模型与成本，说明级联路由已生效。

常见问题

注意事项

• drafter/verifier 的模型名与价格均来自 README 示例，实际可替换为自己的模型。
• 示例代码用到了 langchain_anthropic，README 的安装命令只列了 langchain-openai，使用 Anthropic 校验模型时需自行补充对应 LangChain 集成包。
• LangSmith 追踪为可选项，需额外设置 LANGSMITH_API_KEY、LANGSMITH_PROJECT、LANGSMITH_TRACING=true。
• cascadeflow 工作在进程内执行循环中，README 称其额外开销低于 5ms。