anansi

让爬虫自愈,对话式驱动,硬刚反爬站点

anansi 是一个面向恶意站点的自愈式爬虫工具,旨在解决传统爬虫在面对反爬机制时容易失效的问题。其核心能力包括:自动修复失效的 CSS 选择器,当静态解析失败时自动启用浏览器渲染;内置身份伪装层,通过 Chrome TLS 指纹、匹配的用户画像以及针对 Cloudflare、Akamai、DataDome 等厂商的特定处理,绕过机器人检测。项目附带 MCP 服务器,允许任何大语言模型通过自然语言对话驱动完整的爬取流程,降低了使用门槛。基于 Python 和 Pydantic 构建,支持并发处理,适合大规模数据采集场景。目前处于早期阶段,但设计思路新颖,将自适应爬取与 AI 代理结合,为开发者提供了一种对抗高防护站点的解决方案。

开源 free 智能体
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 115
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类智能体
开发团队mdowis
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型adaptive-scraping,ai-agent,anti-bot,concurrent-processing,crawler,data-extraction,llm-tools,mcp,mcp-server,pydantic,python,self-healing,stealth-browser,tls-fingerprint,web-scraper,web-scraping
GitHub 星标★ 115
30天Star增速
HF 下载量
上线时间2026-05-14 00:00:00
最近更新2026-09-20 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 选择器自愈机制,站点改版后无需手动更新,自动修复爬取路径
  • 深度集成 MCP 服务器,LLM 可通过自然语言指令控制完整爬取流程
  • 身份伪装层覆盖 Chrome TLS 指纹和主流反爬厂商,提升绕过成功率

不足之处

  • 早期项目,文档和社区支持待观察
  • 依赖浏览器渲染可能增加资源消耗,影响大规模爬取效率

适用场景

  • 需要稳定抓取频繁改版或强反爬站点的数据采集任务
  • AI 代理需要实时获取网页数据但不想写复杂爬虫代码的场景
  • 对 Cloudflare、Akamai 等防护有高要求的企业级数据监控

替代项目

Scrapy、Playwright、Crawlee

项目介绍

anansi 是自动化工作流领域的开源项目,由 mdowis 开发,是 2026 年新上线的项目。

它收录于自动化工作流分类,该分类目前共有 509 个项目,GitHub 星标数为 115。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-20。Apache-2.0 许可证,可免费使用和部署。

它主要面向的使用场景是:需要稳定抓取频繁改版或强反爬站点的数据采集任务。同类可对比的替代方案包括 Scrapy、Playwright、Crawlee。

上一篇:dear-hiring-manager

下一篇:camofox-mcp

同类项目推荐

n8n 开源

拖拽搭建自动化流程,轻松接入 AI 与 400+ 应用,搞定重复工作。

Fair-code workflow automation platform with native AI capabilities. Combine visual b···

★ 205700 2026-08-10
feishu-docx 开源

让 AI 代理轻松读写飞书文档,双向转换 Markdown

Feishu/Lark Docs、Sheet、Bitable <-> Markdown | AI Agent-friendly knowledge base exp···

★ 262 2026-08-09
robotcode 开源

让 Robot Framework 拥有现代 IDE 体验,调试、补全、运行一气呵成。

Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···

★ 301 2026-08-10
puppeteer 开源

用 JavaScript 轻松操控无头浏览器,搞定自动化测试与网页抓取。

JavaScript API for Chrome and Firefox

★ 95609 2026-08-10