langchain-scrapingbee

让 LangChain 应用一键抓取反爬网页，直接喂给大模型

langchain-scrapingbee 是 ScrapingBee 官方维护的 LangChain 集成包，把 ScrapingBee 的网页抓取与代理渲染能力封装成 LangChain 可调用的工具和文档加载器。它解决的问题是：大模型应用做 RAG 或联网检索时，常遇到目标站点反爬、需要 JS 渲染、动态内容加载等情况，普通 requests 抓取拿不到正文。该包提供 ScrapingBeeLoader 等组件，可直接接入 LangChain 的链、Agent 和检索流程，自动处理代理轮换、浏览器渲染与反封锁，把抓取结果转成 LangChain Document 对象。开发者只需配置 API Key，即可在已有 LangChain 工作流中替换抓取环节，无需自己维护代理池和渲染服务。项目体量小、定位清晰，适合需要稳定网页数据源的 LLM 应用快速接入。