crw

6MB 内存的 Rust 爬虫，给 AI 智能体喂网页

开源 🏷️基础免费，高级付费 ✅ 目前可打开搜索知识 🍴 复刻 97 🐛 待处理 11 👀 关注 4

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1244

维护状态活跃

是否开源开源

定价模式 🏷️基础免费，高级付费支持限时试用 · 开源可自托管免费，托管云服务提供免费额度及付费套餐，具体价格待确认

项目预览

项目数据

分类搜索知识

开发团队fastcrw

官网地址https://fastcrw.com

GitHubhttps://github.com/fastcrw/crw

定价模式🏷️基础免费，高级付费

价格说明开源可自托管免费，托管云服务提供免费额度及付费套餐，具体价格待确认

访问状态✅ 目前可打开

是否开源是

开源协议AGPL-3.0

主要语言Rust

技术栈/模型ai,ai-agents,crawler,data-extraction,docker,firecrawl-alternative,html-to-markdown,llm,markdown,mcp,mcp-server,rust,scraping-api,self-hosted,tavily-alternative,web-crawler,web-scraper,web-scraping,web-search-api

GitHub 星标★ 1244

上线时间2026-03-02 00:00:00

代码更新2026-11-11

仓库体积18.3 MB

本站数据更新2026-11-12

维护状态活跃

收录时间2026-09-28

浏览次数2

项目介绍

crw 是一个用 Rust 编写的轻量级网页抓取、爬取与搜索 API，定位为 Firecrawl 和 Tavily 的开源替代品。它解决的是 AI 智能体获取实时网页数据时依赖昂贵云服务、部署笨重的问题：单二进制文件仅占约 6MB 内存，可自托管，也提供托管云。核心能力包括 /scrape 抓取单页并转 Markdown、/crawl 整站爬取、/search 联网搜索，接口与 Firecrawl 兼容，可无缝替换。内置 MCP server，能被 Claude、Cursor 等支持 MCP 的 AI 客户端直接调用。官方基准显示 1K URL 场景下比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍，适合对延迟和资源敏感的自部署场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-28 · 当前星标 ★ 1244

技术标签

ai ai-agents crawler data-extraction docker

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

macOS 或 Linux 系统（支持 Intel 与 ARM）
已安装 curl 并能访问外网
如需使用云端托管 API，需先注册获取 API Key（可领 1000 免费额度）
本地自托管模式免费，无需注册账号

安装与启动步骤

1一行命令安装

官方安装脚本会下载 crw 二进制并放到可执行路径，本地模式免费且无需账号。
```
curl -fsSL https://fastcrw.com/install | sh
```
2验证搜索功能

安装完成后直接用 crw 子命令做联网搜索，无需额外启动服务。
```
crw search "rust tutorials"
```
3抓取单个网页

传入 URL 即可把页面转成干净的 Markdown 或结构化 JSON。
```
crw https://example.com
```
4接入云端 API

带上自己的 API Key 重新执行安装命令，脚本会写入 Key 并注册 MCP server。
```
curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_xxxxxxxx sh
```
5跳过 MCP 注册

若不想让脚本改动已装的 AI 工具配置，加上该环境变量，只装二进制。
```
curl -fsSL https://fastcrw.com/install | CRW_NO_AGENTS=1 sh
```
6交互式配置

单独运行 setup，可交互选择要接入的 AI 客户端等配置项。
```
crw setup
```

关键配置

配置项	必填	说明	示例
`CRW_API_KEY`	否	云端托管 API 密钥，安装时传入即自动连接账号。	`crw_live_xxxxxxxx`
`CRW_NO_AGENTS`	否	设为 1 时跳过自动注册 MCP server 到本地 AI 工具。	`1`
`~/.config/crw/config.toml`	否	本地配置文件，API Key 保存在这里而非写入各工具。	`~/.config/crw/config.toml`