crw

极速轻量爬虫+搜索API，AI智能体即插即用

crw 是一个用 Rust 编写的轻量级网络爬虫、抓取与搜索 API，旨在作为 Firecrawl 和 Tavily 的高性能替代品。它解决了 AI 智能体在获取网页内容时面临的性能与资源消耗问题，提供与 Firecrawl 兼容的 /scrape、/crawl、/search 接口，并内置 MCP 服务器，方便 AI 工具直接调用。核心能力包括：快速抓取网页并转换为 Markdown，支持整站爬取和关键词搜索，单二进制文件仅 6MB 内存占用，性能远超同类（1K URL 基准下比 Tavily 快 2.3 倍，比 Firecrawl 快 1.5 倍）。支持自托管和托管云服务，适合对速度和资源敏感的场景。

开源 unknown 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1064

维护状态活跃

是否开源是

定价模式 unknown

项目数据

分类智能体

开发团队fastcrw

所属国家

官网地址https://fastcrw.com

GitHubhttps://github.com/us/crw

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议AGPL-3.0

主要语言Rust

技术栈/模型ai,ai-agents,crawler,data-extraction,docker,firecrawl-alternative,html-to-markdown,llm,markdown,mcp,mcp-server,rust,scraping-api,self-hosted,tavily-alternative,web-crawler,web-scraper,web-scraping,web-search-api

GitHub 星标★ 1064

30天Star增速

HF 下载量

上线时间2026-03-02 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 5 分钟部署方式：命令行工具 6 步

环境要求

macOS 或 Linux 系统（支持 Intel 与 ARM）
可访问网络的终端环境（需能访问 fastcrw.com）
使用云服务时需要一个 CRW API 密钥（注册可得 1000 免费额度）

安装与启动步骤

1一键安装

在终端执行安装脚本，自动下载安装 crw 二进制；本地运行免费、无需账号。
```
curl -fsSL https://fastcrw.com/install | sh
```
2带密钥安装

把密钥直接注入安装命令，脚本会安装二进制、写入密钥并注册 MCP 服务器。
```
curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_xxxxxxxx sh
```
3跳过 MCP 注册

不想让脚本改动已有 AI 工具的配置时，加此环境变量重新执行安装。
```
curl -fsSL https://fastcrw.com/install | CRW_NO_AGENTS=1 sh
```
4交互式配置

需要自己选择接入哪些 AI 工具、或想重新配置密钥时单独运行，按提示操作。
```
crw setup
```
5抓取网页

把示例 URL 换成目标网址，即可得到清洗后的 markdown 或结构化 JSON。
```
crw https://example.com
```
6搜索验证

用关键词执行一次搜索，能正常返回结果即说明安装配置成功。
```
crw search "rust tutorials"
```

关键配置

配置项	必填	说明	示例
`CRW_API_KEY`	否	托管云服务密钥，安装时注入，脚本会写入本地配置文件	`crw_live_xxxxxxxx`
`CRW_NO_AGENTS`	否	设为 1 时跳过自动向 AI 编码工具注册 MCP 服务器	`1`
`~/.config/crw/config.toml`	否	密钥保存位置，不会被复制进每个 AI 工具	`~/.config/crw/config.toml`

如何确认成功

执行 crw search "rust tutorials"，能正常返回搜索结果即表示安装与配置成功。

常见问题

Q：本地使用需要账号或付费吗？

A：不需要。本地自托管免费运行、无需账号；只有使用托管云 API 时才需要密钥，注册可获 1000 免费额度且无需信用卡。

Q：会自动修改我已有的 AI 工具配置吗？

A：只有在检测到 Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf 等已配置好时才会注册 MCP 服务器，其他内容不会改动；加 CRW_NO_AGENTS=1 可完全跳过。

Q：API 密钥保存在哪里？

A：保存在 ~/.config/crw/config.toml 中，不会复制进各个 AI 工具，便于统一管理。

Q：支持哪些操作系统和架构？

A：README 说明支持 macOS 和 Linux，涵盖 Intel 与 ARM 架构，更多安装方式见官方安装文档。

Q：本地部署和云服务效果一样吗？

A：README 提示不同部署方式的能力与响应结构可能存在差异，具体可参考 /v1/capabilities 与响应结构文档。

注意事项

托管 API 与本地自托管在能力、响应结构上可能不同，切换前先查阅官方 capabilities 文档。
自托管的渲染器、搜索、鉴权、代理和容量均由自己选择与维护，详见官方 self-hosting 指南。
安装脚本默认只挑选已配置好的 AI 编码工具注册 MCP，密钥统一存放在 ~/.config/crw/config.toml。
项目许可证为 AGPL-3.0，商用或二次分发前请确认合规要求。

核心亮点

性能卓越：1K URL 基准测试比 Tavily 快 2.3 倍，比 Firecrawl 快 1.5 倍
资源占用极低：单二进制仅 6MB 内存，适合边缘部署
兼容 Firecrawl API，迁移成本低，内置 MCP 服务器，AI 集成简单

不足之处

早期项目，文档和社区生态待观察
功能可能不如 Firecrawl 丰富，如高级反爬策略

适用场景

AI 智能体需要快速抓取网页内容并转为 Markdown 供 LLM 处理
自托管爬虫服务，替代高成本商业 API
批量数据采集和搜索，对性能和资源有严格要求

替代项目

Firecrawl、Tavily、Crawlee

项目介绍

crw 是搜索知识领域的开源项目，由 fastcrw 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,064）位列前 30%，在搜索知识分类中处于中上游。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。从国内网络环境看，可直接访问。

它主要面向的使用场景是：AI智能体需要快速抓取网页内容并转为Markdown供LLM处理。同类可对比的替代方案包括 Firecrawl、Tavily、Crawlee。

上一篇：MetaSearchMCP

下一篇：kaas

crw