anansi

让爬虫自愈，对话式驱动，硬刚反爬站点

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 智能体 🍴 复刻 23 👀 关注 2
GitHub ↗
GitHub 星标 ★ 117
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

anansi 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类智能体
开发团队mdowis
GitHubhttps://github.com/mdowis/anansi
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型adaptive-scraping,ai-agent,anti-bot,concurrent-processing,crawler,data-extraction,llm-tools,mcp,mcp-server,pydantic,python,self-healing,stealth-browser,tls-fingerprint,web-scraper,web-scraping
GitHub 星标★ 117
上线时间2026-05-14 00:00:00
代码更新2026-09-02
仓库体积484 KB
本站数据更新2026-11-11
维护状态维护中
收录时间2026-08-09
浏览次数8

项目介绍

anansi 是一个面向恶意站点的自愈式爬虫工具，旨在解决传统爬虫在面对反爬机制时容易失效的问题。其核心能力包括：自动修复失效的 CSS 选择器，当静态解析失败时自动启用浏览器渲染；内置身份伪装层，通过 Chrome TLS 指纹、匹配的用户画像以及针对 Cloudflare、Akamai、DataDome 等厂商的特定处理，绕过机器人检测。项目附带 MCP 服务器，允许任何大语言模型通过自然语言对话驱动完整的爬取流程，降低了使用门槛。基于 Python 和 Pydantic 构建，支持并发处理，适合大规模数据采集场景。目前处于早期阶段，但设计思路新颖，将自适应爬取与 AI 代理结合，为开发者提供了一种对抗高防护站点的解决方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 117

核心亮点

  • 选择器自愈机制，站点改版后无需手动更新，自动修复爬取路径
  • 深度集成 MCP 服务器，LLM 可通过自然语言指令控制完整爬取流程
  • 身份伪装层覆盖 Chrome TLS 指纹和主流反爬厂商，提升绕过成功率

不足之处

  • 早期项目，文档和社区支持待观察
  • 依赖浏览器渲染可能增加资源消耗，影响大规模爬取效率

适用场景

  • 需要稳定抓取频繁改版或强反爬站点的数据采集任务
  • AI 代理需要实时获取网页数据但不想写复杂爬虫代码的场景
  • 对 Cloudflare、Akamai 等防护有高要求的企业级数据监控

替代项目

Scrapy、Playwright、Crawlee

上一篇：dear-hiring-manager

下一篇：camofox-mcp

同类项目推荐

fynt 开源

自托管工作流引擎，把重复操作串成自动流程

Self-hostable workflow automation platform

★ 468 2026-09-17
solo-skills 开源

一人公司 38 个现成 AI 技能，拿来就能跑

1인 사업가 생산성 키트 — 직원 없이 58개를 자동화했고, 그중 바로 쓸 수 있는 AI 에이전···

★ 439 2026-11-06
agent-slack 开源

一行命令让 AI 代理操作 Slack

Slack automation CLI for AI agents

★ 576 2026-09-22
claude-ops 开源

一句话指挥 Claude 管完收件箱、收入、AWS 和 PR

Business operating system for Claude Code — 57 skills, 21 agents, smart daemon. Uni···

★ 551 2026-09-25
camoufox-cli 开源

让 AI Agent 用反检测浏览器自动上网，不被封

Anti-detect browser automation CLI & Skills for AI agents — Camoufox-powered finger···

★ 362 2026-09-15
abx-dl 开源

一条命令，把网页里的图文视频文档全扒下来

⬇️ A simple all-in-one CLI tool to download EVERYTHING from a URL (like youtube-dl···

★ 151 2026-10-07
Autotube 开源

自动生成并发布YouTube短视频，从选题到成片全流程无人值守

Automated YouTube Shorts creation using n8n, AI script generation, and video process···

★ 81 2026-08-09
page-agent 开源

用大白话指挥网页干活，省去写脚本的麻烦。

JavaScript in-page GUI agent. Control web interfaces with natural language.

★ 29655 2026-08-09
windmill 开源

写脚本自动变工作流和内部工具，自托管还快

Code-first platform for workflows, apps and AI agents, on the fastest self-hostable ···

★ 18513 2026-11-07