langchain-scrapingbee
让 LangChain 应用一键抓取反爬网页，直接喂给大模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 102
核心亮点
- 官方维护，与 LangChain 的 Document/工具接口对齐，接入成本低
- 复用 ScrapingBee 的代理池和 JS 渲染，抓取动态页面成功率高于裸 requests
- 支持在 LangChain 链和 Agent 中作为标准组件调用，便于搭建 RAG 数据管道
不足之处
- 强依赖 ScrapingBee 付费 API，无 Key 无法使用，免费额度有限
- 功能相对单一，仅做抓取封装，缺少解析、清洗等后处理能力
适用场景
- 为 RAG 知识库抓取需要 JS 渲染的电商或新闻页面
- 在 LangChain Agent 中让模型自主联网检索并读取网页正文
- 批量采集反爬严格的站点，作为 LLM 应用的数据入口
替代项目
langchain-community 内置的 WebBaseLoader、firecrawl-py
同类项目推荐
ollama-python
开源
几行 Python 代码调用本地大模型，同步异步都支持
Ollama Python library
prodagent
开源
1800行读懂 agent 框架内核，可恢复可续跑
A minimal, readable agent-framework kernel — understand how LangGraph/ADK work unde···
attachments
开源
两行代码，把任意文件变成大模型能读的上下文
Easiest way to give context to LLMs; Attachments has the ambition to be the general ···
Langchain-Projects-LLM
开源
照着 Notebook 跑通大模型应用
Various projects using Large Language Model (GPT & LLAMA) other open source model fr···
ai-toolkit
开源
用图数据库搭 AI Agent，关系推理一步到位
Open-source tools for AI on Memgraph: persistent agent memory, knowledge graphs, Gra···
qgate-model
开源
用统一元模型定义AI项目，一键生成可运行解决方案
ML/AI meta-model, used in MLRun/Iguazio/Nuclio, see qgate-sln-
YiVal
开源
自动优化提示词，让 AI 输出更稳定更优质
Your Automatic Prompt Engineering Assistant for GenAI Applications
go-astibob
开源
用 Go 快速搭建能听会说的 AI 助手
Golang framework to build an AI that can understand and speak back to you, and every···
air
开源
让 AI 一次写对 Python Web 应用，少写 JS 多出活
The first web framework designed for AI to write. Built on Python, FastAPI, Pydantic···