Scrapegraph-ai

环境要求

• Python 环境（README 未指定版本，建议 3.9+）
• pip 包管理工具
• 使用本地模型需先安装 Ollama 并 pull 模型
• 使用 OpenAI 等云端模型需准备 API Key

安装与启动步骤

1. 1安装依赖库

   用 pip 安装 scrapegraphai 包，README 明确给出的唯一安装命令。

   pip install scrapegraphai

   复制

2. 2安装本地模型

   若用 Ollama 本地模型，需先安装 Ollama 并拉取 llama3.2 模型。

   ollama pull llama3.2

   复制

3. 3编写爬虫脚本

   导入 SmartScraperGraph，配置 llm 与目标 URL，按提示词提取信息。

   from scrapegraphai.graphs import SmartScraperGraph
   
   graph_config = {
       "llm": {
           "model": "ollama/llama3.2",
           "model_tokens": 8192,
           "format": "json",
       },
       "verbose": True,
       "headless": False,
   }
   
   smart_scraper_graph = SmartScraperGraph(
       prompt="List me all the projects with their description",
       source="https://scrapegraphai.com/",
       config=graph_config,
   )
   
   result = smart_scraper_graph.run()
   
   import json
   print(json.dumps(result, indent=4))

   复制

4. 4切换云端模型

   改用 OpenAI 等模型时只需替换 llm 配置，填入自己的 api_key 与模型名。

   graph_config = {
       "llm": {
           "api_key": "sk-xxxxxxxx",
           "model": "openai/gpt-4o-mini",
       },
       "verbose": True,
       "headless": False,
   }

   复制

关键配置

如何确认成功

运行脚本后能打印出结构化的 JSON 字典结果（如 description、founders 等字段），即表示成功。

常见问题

注意事项

• README 未给出 Python 版本要求，建议使用较新的 Python 3.9+。
• API Key 属于敏感信息，不要硬编码后上传到公开仓库。
• 云端模型会产生调用费用，本地 Ollama 模型则依赖本机算力。