crw

6MB 内存的 Rust 爬虫，给 AI 智能体喂网页

crw 是一个用 Rust 编写的轻量级网页抓取、爬取与搜索 API，定位为 Firecrawl 和 Tavily 的开源替代品。它解决的是 AI 智能体获取实时网页数据时依赖昂贵云服务、部署笨重的问题：单二进制文件仅占约 6MB 内存，可自托管，也提供托管云。核心能力包括 /scrape 抓取单页并转 Markdown、/crawl 整站爬取、/search 联网搜索，接口与 Firecrawl 兼容，可无缝替换。内置 MCP server，能被 Claude、Cursor 等支持 MCP 的 AI 客户端直接调用。官方基准显示 1K URL 场景下比 Tavily 快 2.3 倍、比 Firecrawl 快 1.5 倍，适合对延迟和资源敏感的自部署场景。

开源 freemium 搜索知识

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1079

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类搜索知识

开发团队fastcrw

所属国家

官网地址https://fastcrw.com

GitHubhttps://github.com/fastcrw/crw

定价模式freemium

价格说明开源可自托管免费，托管云服务提供免费额度及付费套餐，具体价格待确认

访问状态

是否开源是

开源协议AGPL-3.0

主要语言Rust

技术栈/模型ai,ai-agents,crawler,data-extraction,docker,firecrawl-alternative,html-to-markdown,llm,markdown,mcp,mcp-server,rust,scraping-api,self-hosted,tavily-alternative,web-crawler,web-scraper,web-scraping,web-search-api

GitHub 星标★ 1079

30天Star增速

HF 下载量

上线时间2026-03-02 00:00:00

最近更新2026-09-27 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-28

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

macOS 或 Linux 系统（支持 Intel 与 ARM）
已安装 curl 并能访问外网
如需使用云端托管 API，需先注册获取 API Key（可领 1000 免费额度）
本地自托管模式免费，无需注册账号

安装与启动步骤

1一行命令安装

官方安装脚本会下载 crw 二进制并放到可执行路径，本地模式免费且无需账号。
```
curl -fsSL https://fastcrw.com/install | sh
```
2验证搜索功能

安装完成后直接用 crw 子命令做联网搜索，无需额外启动服务。
```
crw search "rust tutorials"
```
3抓取单个网页

传入 URL 即可把页面转成干净的 Markdown 或结构化 JSON。
```
crw https://example.com
```
4接入云端 API

带上自己的 API Key 重新执行安装命令，脚本会写入 Key 并注册 MCP server。
```
curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_xxxxxxxx sh
```
5跳过 MCP 注册

若不想让脚本改动已装的 AI 工具配置，加上该环境变量，只装二进制。
```
curl -fsSL https://fastcrw.com/install | CRW_NO_AGENTS=1 sh
```
6交互式配置

单独运行 setup，可交互选择要接入的 AI 客户端等配置项。
```
crw setup
```

关键配置

配置项	必填	说明	示例
`CRW_API_KEY`	否	云端托管 API 密钥，安装时传入即自动连接账号。	`crw_live_xxxxxxxx`
`CRW_NO_AGENTS`	否	设为 1 时跳过自动注册 MCP server 到本地 AI 工具。	`1`
`~/.config/crw/config.toml`	否	本地配置文件，API Key 保存在这里而非写入各工具。	`~/.config/crw/config.toml`

如何确认成功

执行 crw search "rust tutorials" 能返回搜索结果，即表示安装与运行成功。

常见问题

Q：安装会改动我已有的 AI 工具配置吗？

A：只有在检测到 Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf 已配置时才会自动注册 MCP，其他内容不动；加 CRW_NO_AGENTS=1 可完全跳过。

Q：API Key 会写进每个 AI 工具里吗？

A：不会，Key 统一保存在 ~/.config/crw/config.toml，不会复制到各个工具配置中。

Q：本地模式和托管 API 有什么区别？

A：本地自托管免费、数据自控，渲染器、搜索、鉴权、代理和容量都需自己决定；托管 API 无运维、可弹性扩展，但需账号和额度。二者能力与响应结构可能不同。

Q：Windows 能用吗？

A：README 明确说明支持 macOS 和 Linux（Intel 与 ARM），未提及 Windows 支持情况。

注意事项

安装脚本来自 fastcrw.com，云端使用需先在官网注册领取 1000 免费额度。
项目使用 AGPL-3.0 许可证，商用前请确认合规要求。
不同部署方式的接口能力与响应结构可能不同，可参考官方 /v1/capabilities 文档。

核心亮点

单二进制、约 6MB 内存占用，资源开销远低于 Node/Python 同类方案
API 路径与 Firecrawl 兼容，迁移只需改 base URL，接入成本低
内置 MCP server，可直接挂到 Claude/Cursor 等 AI 客户端当工具用

不足之处

项目仅千余星，生态与长期维护稳定性待观察
高级反爬、动态渲染等复杂抓取能力相比成熟商业方案可能有限

适用场景

自托管 AI 智能体的联网搜索与网页读取后端
把网页批量转 Markdown 喂给 RAG 或 LLM 做知识库
在 Cursor/Claude 中通过 MCP 让模型实时抓取指定网页

替代项目

Firecrawl、Crawl4AI

项目介绍

crw 是搜索知识领域的开源项目，由 fastcrw 开发，是 2026 年新上线的项目。

在全站 13,199 个收录项目中，它的 GitHub 星标数（1,079）位列前 30%，在搜索知识分类中处于中上游。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-27。开源可自托管免费，托管云服务提供免费额度及付费套餐，具体价格。

它主要面向的使用场景是：自托管AI智能体的联网搜索与网页读取后端。同类可对比的替代方案包括 Firecrawl、Crawl4AI。

上一篇：chunkr

下一篇：second-brain-os

crw