spider

环境要求

• 已安装 Rust 与 Cargo（使用 cargo add / cargo install 方式时必需）
• 已安装 Node.js 与 npm（安装 Node.js 包时需要）
• 已安装 Python 与 pip（安装 Python 包时需要）
• 抓取 JavaScript 渲染页面时，本机需可用 Chrome
• 使用 spider.cloud 托管爬取时需自备服务与密钥（本地运行不需要）

安装与启动步骤

1. 1添加 Rust 库依赖

   在 Rust 项目根目录执行，把 spider 作为依赖写入 Cargo.toml，自动选用 2.x 版本。

   cargo add spider

   复制

2. 2编写最小爬虫示例

   把代码写入项目源文件（如 main.rs），它会在页面到达时流式打印状态码和 URL，抓完自行停止。

   use spider::{tokio, website::Website};
   
   #[tokio::main]
   async fn main() {
       let mut website = Website::new("https://example.com");
       let mut rx = website.subscribe(16);
   
       tokio::spawn(async move {
           while let Ok(page) = rx.recv().await {
               println!("{}  {}", page.status_code, page.get_url());
           }
       });
   
       website.crawl().await;
       website.unsubscribe();
   }

   复制

3. 3按需调整抓取配置

   所有配置项都有默认值，只设置需要的：限制并发、链接深度、请求间隔、robots、子域名、UA 与反检测。

   let mut website = Website::new("https://example.com")
       .with_limit(50)
       .with_depth(10)
       .with_delay(500)
       .with_respect_robots_txt(true)
       .with_subdomains(true)
       .with_user_agent(Some("MyBot/1.0"))
       .with_stealth(true)
       .build()
       .unwrap();

   复制

4. 4安装命令行工具

   不写代码、直接在终端抓取时使用，安装后即可作为命令行工具运行。

   cargo install spider_cli

   复制

5. 5安装 Python 包

   Python 项目里通过 pip 安装官方包，包名与 crate 名不同，注意是下划线形式。

   pip install spider_rs

   复制

6. 6安装 Node.js 包

   Node.js 项目里通过 npm 安装官方包，安装后按 README 示例调用即可。

   npm i @spider-rs/spider-rs

   复制

7. 7安装 MCP 服务

   想让 Claude、Cursor 等 MCP 客户端直接调用爬虫时安装该二进制，随后在客户端中配置。

   cargo install spider_mcp

   复制

关键配置

如何确认成功

运行示例后，终端会按到达顺序持续打印每个页面的状态码和 URL，且抓取结束后程序自行退出，即表示成功。

常见问题

注意事项

• 项目处于成长阶段，API 与功能迭代较快，升级前建议先看对应版本的文档。
• with_delay 的单位是毫秒，不要按秒填写。
• 本地只需把 spider 作为依赖引入即可，无需任何云端服务或密钥。
• README 未给出 Windows 专用安装命令，Rust 相关命令在 Windows 上同样通过 cargo 执行。