llm-scraper

环境要求

• Node.js 与 npm 环境（需可执行 npm i）
• 一个可用的 LLM 提供商账号及 API Key（如 OpenAI、Anthropic、Google、Groq 或本地 Ollama）
• 项目需支持 ESM/TypeScript 模块导入（示例均为 import 语法）
• Playwright 运行所需的浏览器环境（README 未给出安装命令，需自行准备）

安装与启动步骤

1. 1安装核心依赖

   从 npm 安装 zod、playwright 与 llm-scraper 三个必需依赖，这是官方 Getting started 的第一步。

   npm i zod playwright llm-scraper

   复制

2. 2安装提供商包

   按你选用的模型厂商安装对应 AI SDK 包；下面以 OpenAI 为例，其他厂商见配置说明。

   npm i @ai-sdk/openai

   复制

3. 3初始化 LLM

   导入提供商并传入模型名创建 llm 对象，例如 OpenAI 的 gpt-4o，供后续抓取使用。

   import { openai } from '@ai-sdk/openai'
   
   const llm = openai('gpt-4o')

   复制

4. 4创建抓取器实例

   导入 LLMScraper 并把上一步的 llm 传入构造函数，得到可用的 scraper 实例。

   import LLMScraper from 'llm-scraper'
   
   const scraper = new LLMScraper(llm)

   复制

关键配置

如何确认成功

按上述步骤依次安装并执行脚本，若成功打印出 scraper 实例且无模块导入报错，即表示依赖与 LLM 初始化正常。

常见问题

注意事项

• 项目已更新到 2.0 版本，基于 Vercel AI SDK 6，旧版示例可能不兼容。
• 数据 Schema 可用 Zod 或 JSON Schema 定义，支持 html、raw_html、markdown、text、image、custom 六种格式化模式。
• 基于 Playwright 框架，动态页面抓取依赖浏览器运行时；README 未提供浏览器安装命令，需自行确认环境。
• README 节选未包含完整抓取调用示例与验证命令，实际使用请以仓库最新文档为准。