wxpath

用查询语言写爬虫,像查数据库一样抓网页数据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 5 🐛 待处理 2 👀 关注 2
GitHub ↗
GitHub 星标 ★ 110
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,AGPL-3.0许可,可自行部署使用,完全免费。

项目预览

wxpath 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队rodricios
定价模式🏷️完全免费
价格说明开源项目,AGPL-3.0许可,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型crawler,data-extraction,data-loader,data-mining,extract-data,rag,scraper,web-graph-traversal,web-query-language
GitHub 星标★ 110
上线时间2025-07-24 00:00:00
代码更新2026-09-30
仓库体积2.2 MB
本站数据更新2026-11-07
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

wxpath 是一个基于 XPath 的声明式网页爬取工具,它提出了一种称为 Web Query Language(WQL)的查询语言,让开发者可以用类似 SQL 的简洁语法来定义网页数据的提取规则。它解决了传统爬虫需要编写大量命令式代码(如 requests + BeautifulSoup 循环解析)的痛点,将数据提取过程抽象为声明式查询,从而降低爬虫开发门槛并提高代码可读性。核心能力包括:通过 XPath 定位网页元素、支持数据清洗与转换、支持多页面抓取与数据合并,并可能内置了请求调度和缓存机制。该项目处于早期阶段,星标数不多,但理念新颖,适合对声明式爬虫感兴趣的开发者探索。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 110

核心亮点

  • 声明式WQL语法,大幅简化爬虫代码,提升可读性
  • 基于XPath,精准定位网页元素,学习成本低
  • 内置数据转换和清洗能力,减少后处理工作

不足之处

  • 早期项目,文档和示例可能不完善
  • 社区生态未建立,遇到问题难以获得支持

适用场景

  • 快速构建结构化网页数据采集任务
  • 数据工程师进行网页数据抽取与清洗
  • 自动化测试中验证页面元素内容

替代项目

Scrapy、BeautifulSoup、lxml

同类项目推荐

n8n-skills 开源

让 AI 助手直接调用 n8n 工作流,自动化一步到位。

Designed specifically for AI assistants, the n8n Workflow Automation Skills Suite.

★ 411 2026-08-10
ff-ruyijs 开源

用 Python 直接跑真实 Firefox 引擎执行网页 JS

This is a lightweight, headless browser purpose-built for AI agents (such as Codex o···

★ 863 2026-11-05
BeatDesign 开源

本地画布+时间线,挂上 MCP agent 自动出图出片

Local-first AI canvas and timeline. Any MCP agent. Open-source alternative to Higgsf···

★ 336 2026-10-08
cli 开源

一条命令把端到端测试搬进终端和 CI

QA Wolf from anywhere — your terminal, your CI, your AI agent.

★ 3459 2026-09-22
web-dev-skills 开源

让 Claude Code 按 PRD 自动走完开发全流程,从需求到演示一气呵成。

Turns PRD -> Design -> Task -> Development -> Acceptance -> Release into a reusable ···

★ 103 2026-08-09
agentic_coding_flywheel_setup 开源

30分钟把空VPS变成多智能体开发环境

Bootstraps a fresh Ubuntu VPS into a complete multi-agent AI development environment···

★ 1675 2026-10-10
xiaozhi-esphome 开源

把小智音箱刷进 Home Assistant,语音控制全屋设备

Alternative code to use xiaozhi ai devices in esphome/home assistant.

★ 843 2026-10-16
skills 开源

让 AI 智能体轻松操控浏览器,突破反爬墙,多任务并行不打架

Browser automation CLI built for AI agents. Break through anti-bot walls, hand off t···

★ 6330 2026-08-09
cadence 开源

让长时业务流程像写普通代码一样简单可靠,崩溃自动恢复

Cadence is a distributed, scalable, durable, and highly available orchestration engi···

★ 9541 2026-08-10