llm-scraper

用大白话描述想要的数据，LLM 自动从网页提取结构化 JSON。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 451 🐛 待处理 10 👀 关注 34

GitHub ↗

GitHub 星标 ★ 6953

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

llm-scraper 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队mishushakov

GitHubhttps://github.com/mishushakov/llm-scraper

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ai,artificial-intelligence,browser,browser-automation,gpt,gpt-4,langchain,llama,llm,openai,playwright,puppeteer,scraper

GitHub 星标★ 6953

上线时间2024-04-20 00:00:00

代码更新2026-10-26

仓库体积261 KB

本站数据更新2026-11-09

维护状态较活跃

收录时间2026-08-09

浏览次数3

项目介绍

llm-scraper 是一个基于 TypeScript 的开源库，利用大语言模型将任意网页转换为结构化数据。它解决了传统网页抓取工具依赖固定选择器、难以应对页面结构变化的问题，通过自然语言描述所需数据，让 LLM 理解网页内容并提取出 JSON 格式的信息。核心能力包括：支持多种 LLM 提供商（如 OpenAI、Anthropic 等），提供简洁的 API 接口，内置流式处理和重试机制，并能与 Playwright 等浏览器自动化工具集成，实现动态页面抓取。它适用于数据采集、市场调研、内容聚合等场景，大幅降低网页数据提取的维护成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6953

技术标签

ai artificial-intelligence browser browser-automation gpt

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：库/依赖 4 步

环境要求

Node.js 与 npm 环境（需可执行 npm i）
一个可用的 LLM 提供商账号及 API Key（如 OpenAI、Anthropic、Google、Groq 或本地 Ollama）
项目需支持 ESM/TypeScript 模块导入（示例均为 import 语法）
Playwright 运行所需的浏览器环境（README 未给出安装命令，需自行准备）

安装与启动步骤

1安装核心依赖

从 npm 安装 zod、playwright 与 llm-scraper 三个必需依赖，这是官方 Getting started 的第一步。
```
npm i zod playwright llm-scraper
```
2安装提供商包

按你选用的模型厂商安装对应 AI SDK 包；下面以 OpenAI 为例，其他厂商见配置说明。
```
npm i @ai-sdk/openai
```
3初始化 LLM

导入提供商并传入模型名创建 llm 对象，例如 OpenAI 的 gpt-4o，供后续抓取使用。
```
import { openai } from '@ai-sdk/openai'

const llm = openai('gpt-4o')
```
4创建抓取器实例

导入 LLMScraper 并把上一步的 llm 传入构造函数，得到可用的 scraper 实例。
```
import LLMScraper from 'llm-scraper'

const scraper = new LLMScraper(llm)
```

关键配置

配置项	必填	说明	示例
`apiKey`	是	调用大模型接口所需的密钥，示例中从环境变量读取	`process.env.GROQ_API_KEY`
`baseURL`	否	自定义兼容 OpenAI 协议的服务地址，如 Groq、自建网关	`https://api.groq.com/openai/v1`
`model`	是	传给提供商函数的模型名称，如 gpt-4o、claude-3-5-sonnet-20240620	`gpt-4o`

如何确认成功

按上述步骤依次安装并执行脚本，若成功打印出 scraper 实例且无模块导入报错，即表示依赖与 LLM 初始化正常。

常见问题

Q：支持哪些大模型？

A：README 说明支持 GPT、Sonnet、Gemini、Llama、Qwen 系列，并给出了 OpenAI、Anthropic、Google、Groq、Ollama 五种初始化示例。

Q：必须安装全部提供商包吗？

A：不需要。只安装你要用的那一个，例如用 Anthropic 就装 @ai-sdk/anthropic，用 Ollama 就装 ollama-ai-provider-v2。

Q：怎么用本地 Ollama 模型？

A：安装 npm i ollama-ai-provider-v2，然后 import { ollama } 并调用 ollama('llama3') 得到 llm。

Q：Groq 怎么接入？

A：安装 @ai-sdk/openai，用 createOpenAI 指定 baseURL 为 https://api.groq.com/openai/v1 和 GROQ_API_KEY，模型填 llama3-8b-8192。

注意事项

项目已更新到 2.0 版本，基于 Vercel AI SDK 6，旧版示例可能不兼容。
数据 Schema 可用 Zod 或 JSON Schema 定义，支持 html、raw_html、markdown、text、image、custom 六种格式化模式。
基于 Playwright 框架，动态页面抓取依赖浏览器运行时；README 未提供浏览器安装命令，需自行确认环境。
README 节选未包含完整抓取调用示例与验证命令，实际使用请以仓库最新文档为准。