crw

极速轻量爬虫+搜索API，AI智能体即插即用

开源 🏷️定价信息待确认 ✅ 目前可打开智能体 🍴 复刻 96 🐛 待处理 8 👀 关注 4

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1237

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类智能体

开发团队fastcrw

官网地址https://fastcrw.com

GitHubhttps://github.com/fastcrw/crw

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议AGPL-3.0

主要语言Rust

技术栈/模型ai,ai-agents,crawler,data-extraction,docker,firecrawl-alternative,html-to-markdown,llm,markdown,mcp,mcp-server,rust,scraping-api,self-hosted,tavily-alternative,web-crawler,web-scraper,web-scraping,web-search-api

GitHub 星标★ 1237

上线时间2026-03-02 00:00:00

代码更新2026-11-09

仓库体积18.0 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数4

项目介绍

crw 是一个用 Rust 编写的轻量级网络爬虫、抓取与搜索 API，旨在作为 Firecrawl 和 Tavily 的高性能替代品。它解决了 AI 智能体在获取网页内容时面临的性能与资源消耗问题，提供与 Firecrawl 兼容的 /scrape、/crawl、/search 接口，并内置 MCP 服务器，方便 AI 工具直接调用。核心能力包括：快速抓取网页并转换为 Markdown，支持整站爬取和关键词搜索，单二进制文件仅 6MB 内存占用，性能远超同类（1K URL 基准下比 Tavily 快 2.3 倍，比 Firecrawl 快 1.5 倍）。支持自托管和托管云服务，适合对速度和资源敏感的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1237

技术标签

ai ai-agents crawler data-extraction docker

使用教程

难度：入门约 5 分钟部署方式：命令行工具 6 步

环境要求

macOS 或 Linux 系统（支持 Intel 与 ARM）
可访问网络的终端环境（需能访问 fastcrw.com）
使用云服务时需要一个 CRW API 密钥（注册可得 1000 免费额度）

安装与启动步骤

1一键安装

在终端执行安装脚本，自动下载安装 crw 二进制；本地运行免费、无需账号。
```
curl -fsSL https://fastcrw.com/install | sh
```
2带密钥安装

把密钥直接注入安装命令，脚本会安装二进制、写入密钥并注册 MCP 服务器。
```
curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_xxxxxxxx sh
```
3跳过 MCP 注册

不想让脚本改动已有 AI 工具的配置时，加此环境变量重新执行安装。
```
curl -fsSL https://fastcrw.com/install | CRW_NO_AGENTS=1 sh
```
4交互式配置

需要自己选择接入哪些 AI 工具、或想重新配置密钥时单独运行，按提示操作。
```
crw setup
```
5抓取网页

把示例 URL 换成目标网址，即可得到清洗后的 markdown 或结构化 JSON。
```
crw https://example.com
```
6搜索验证

用关键词执行一次搜索，能正常返回结果即说明安装配置成功。
```
crw search "rust tutorials"
```

关键配置

配置项	必填	说明	示例
`CRW_API_KEY`	否	托管云服务密钥，安装时注入，脚本会写入本地配置文件	`crw_live_xxxxxxxx`
`CRW_NO_AGENTS`	否	设为 1 时跳过自动向 AI 编码工具注册 MCP 服务器	`1`
`~/.config/crw/config.toml`	否	密钥保存位置，不会被复制进每个 AI 工具	`~/.config/crw/config.toml`