spacy-llm

把大模型塞进spaCy流水线,结构化NLP秒变智能

spacy-llm 是 spaCy 官方推出的插件,旨在将大型语言模型(LLM)无缝集成到 spaCy 的结构化 NLP 流水线中。它解决了传统 NLP 流水线难以利用 LLM 强大能力的问题,允许开发者在不放弃 spaCy 的文档对象、管道组件和批处理机制的前提下,使用 LLM 执行文本分类、命名实体识别、关系抽取等任务。其核心能力包括:支持多种 LLM 后端(如 OpenAI、HuggingFace、本地模型),提供可组合的提示模板和解析器,支持 few-shot 示例,并允许将 LLM 结果与规则或统计组件混合使用。通过简单的配置,用户即可在现有 spaCy 流程中启用 LLM 功能,实现快速原型验证和生产部署。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1394
维护状态 低维护
是否开源
定价模式 free

项目数据

分类开源模型
开发团队explosion
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型anthropic,claude,cohere,dolly,falcon,gpt-3,gpt-4,large-language-models,llama,llm,machine-learning,named-entity-recognition,natural-language-processing,nlp,openai,prompt-engineering,spacy,text-classification
GitHub 星标★ 1394
30天Star增速
HF 下载量
上线时间2023-03-16 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数9

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 4 步

环境要求

  • Python 环境(README 未指定具体版本)
  • 已在同一虚拟环境中安装 spaCy
  • 使用 OpenAI 等云端模型时需准备对应 API key
  • 可访问 GitHub / PyPI 以安装依赖

安装与启动步骤

  1. 1确认 spaCy 已安装

    spacy-llm 需与 spaCy 安装在同一个虚拟环境中,先确认当前环境已有 spaCy。

    python -c "import spacy; print(spacy.__version__)"
  2. 2安装 spacy-llm

    直接用 pip 从 PyPI 安装,无需克隆仓库;README 明确指出目前需手动安装。

    python -m pip install spacy-llm
  3. 3准备 API key

    使用 OpenAI 等云端模型时,需在 openai.com 创建或获取 API key,并把密钥设置为环境变量。

    export OPENAI_API_KEY=sk-xxxxxxxx
  4. 4在流程中使用 llm 组件

    把可序列化的 llm 组件加入 spaCy pipeline,并配置任务提示与解析器;README 节选未给出完整配置示例,请参照官网文档编写。

关键配置

配置项必填说明示例
OPENAI_API_KEY使用 OpenAI 模型时需设为环境变量;README 节选未给出具体变量名,请以官方 API keys 文档为准sk-xxxxxxxx

如何确认成功

执行 python -c "import spacy_llm" 无报错,说明包已安装成功;实际调用 LLM 还需 API key 配置正确。

常见问题

Q:使用 spacy-llm 需要准备训练数据吗?

A:不需要,README 明确说明无需训练数据即可把 LLM 用于文本分类、命名实体识别等任务。

Q:支持哪些 LLM 后端?

A:README 列出 OpenAI、Cohere、Anthropic、Google PaLM、Microsoft Azure AI,并支持 Hugging Face 上的 Falcon、Dolly、Llama 2 等开源模型。

Q:升级小版本会不会出问题?

A:README 提示该包仍处于实验阶段,minor 版本更新可能带来接口层面的破坏性变更,升级前建议先备份配置。

Q:安装时报缺少 API key 或无法调用模型?

A:README 要求把密钥设置为环境变量,请确认密钥已在当前 shell/虚拟环境中生效,具体变量名参见官方 API keys 文档。

注意事项

  • 项目仍为实验性,minor 版本升级可能出现不兼容改动。
  • 必须在已经安装 spaCy 的同一虚拟环境中安装 spacy-llm。
  • README 节选未给出具体环境变量名和组件配置示例,请查阅官网 https://spacy.io/usage/large-language-models 获取完整配置。
  • 未来 spaCy 版本会自动安装 spacy-llm,目前仍需手动执行 pip 安装。

核心亮点

  • 官方插件,与spaCy生态无缝集成,配置简单,支持管道组件复用
  • 支持多后端(OpenAI、HuggingFace、本地),灵活切换,成本可控
  • 提供内置提示模板和解析器,支持few-shot,可快速适配任务

不足之处

  • 依赖外部LLM服务,推理延迟和成本较高,不适合低延迟场景
  • 文档/社区待观察

适用场景

  • 在现有spaCy项目中快速添加LLM驱动的实体抽取或文本分类
  • 结合规则和统计组件,构建混合NLP流水线,提升复杂任务准确率
  • 原型验证LLM在特定NLP任务上的效果,无需重写整个流程

替代项目

Haystack、LangChain、transformers pipelines

项目介绍

spacy-llm 是开发框架领域的开源项目,由 explosion 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,394)位列前 30%,在开发框架分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-21。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:在现有spaCy项目中快速添加LLM驱动的实体抽取或文本分类。同类可对比的替代方案包括 Haystack、LangChain、transformers pipelines。

上一篇:OllamaSharp

下一篇:flash-linear-attention

同类项目推荐

langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 146874 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 166529 2026-08-09
pi 开源

一套 TypeScript 工具包,快速搭出能写代码的 AI agent

AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI

★ 108504 2026-09-12