项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2436
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 可运行 npx 的 Node.js 环境（用于 create-webclaw 安装器）
- Docker（可选，用于容器方式运行）
- 支持 MCP 的客户端，如 Claude Code、Claude Desktop、Cursor、Windsurf、OpenCode、Codex CLI
- 可访问 npm 与 ghcr.io 镜像源的网络环境
安装与启动步骤
-
1准备运行环境
确认已安装 Node.js（提供 npx）以便运行官方安装器；若只想快速试用，也可以改用 Docker 方式运行，无需 Node.js。
-
2一键接入 MCP 客户端
这是官方说明中最快的接入方式，安装器会自动检测受支持的客户端并帮你配置好 MCP 服务器，按提示操作即可。
npx create-webclaw -
3用 Docker 快速试用
无需安装，直接拉取官方镜像并抓取一个示例网页，命令末尾参数是目标网址，可替换为你自己的页面。
docker run --rm ghcr.io/0xmassi/webclaw https://example.com -
4按需配置密钥与代理
如需托管 API、LLM 能力或代理池，在运行环境或 MCP 客户端配置中设置下表中的环境变量，按实际使用的服务填写。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
WEBCLAW_API_KEY | 否 | 使用托管版 webclaw.io 服务时的 API Key | sk-xxxxxxxx |
OPENAI_API_KEY | 否 | OpenAI 兼容的 LLM 提供方密钥 | sk-xxxxxxxx |
OPENAI_BASE_URL | 否 | OpenAI 兼容接口的 Base URL | https://api.openai.com/v1 |
ANTHROPIC_API_KEY | 否 | Anthropic 兼容的 LLM 提供方密钥 | sk-ant-xxxxxxxx |
OLLAMA_HOST | 否 | 本地 Ollama 地址，用于本地 LLM 功能 | http://localhost:11434 |
WEBCLAW_PROXY | 否 | 单个代理 URL，用于受限网络访问 | http://127.0.0.1:7890 |
如何确认成功
执行 npx create-webclaw 后应看到安装器识别并配置好 MCP 客户端；运行 Docker 命令应返回该网页的 Markdown 内容。
常见问题
Q：没有安装 Node.js 怎么办？
A：可以跳过 npx 方式，直接用 README 给出的 Docker 命令运行，同样能抓取网页并输出 Markdown。
Q：npx create-webclaw 会自动改我的配置吗？
A：会。README 说明该安装器会检测受支持的客户端并自动为其配置 MCP 服务器，接入前建议先备份原配置。
Q：Docker 命令最后的网址必须用 example.com 吗？
A：不是，那只是示例。把它替换成你要提取内容的任意网页地址即可。
Q：想用本地大模型怎么做？
A：设置 OLLAMA_HOST 指向你的 Ollama 服务地址，即可启用本地 LLM 相关能力，无需外部密钥。
Q：抓取受网络限制的站点怎么办？
A：可配置 WEBCLAW_PROXY 指定单个代理，或用 WEBCLAW_PROXY_FILE 指定代理池文件。
注意事项
- README 节选未给出 CLI 的详细参数与 REST API 用法，完整文档请访问官网 https://webclaw.io。
- 环境变量属于可选配置：仅使用网页转 Markdown 的基础功能时可不设置任何密钥。
- 通过 MCP 客户端调用时，环境变量需写在客户端对应的配置中，而不是临时终端里。
核心亮点
- Rust 实现，性能高，内存占用低，本地运行隐私好
- 提供 CLI、REST API、MCP 服务器三种接口，集成灵活
- 支持抓取、爬虫、结构化提取，功能全面，对标 Firecrawl
不足之处
- 生态和文档相比成熟项目（如 Firecrawl）仍待完善
- 高级功能（如 JS 渲染）可能依赖额外配置，上手有门槛
适用场景
- 为 RAG 应用批量抓取网页并转为干净文本
- 作为 MCP 工具接入 Claude 等 AI 助手实时获取网页信息
- 本地自动化爬取网站数据，生成结构化 JSON 供分析
替代项目
Firecrawl、Trafilatura、Scrapy
上一篇：liveblocks
下一篇：numbat
同类项目推荐
APIPark
开源
一个网关管所有AI大模型，统一接入、负载均衡、灾备无忧。
Cloud native, ultra-high performance AI&API gateway, LLM API management, distributio···
pgvecto.rs
开源
在 Postgres 里实现高性能向量搜索，无需迁移数据库。
Scalable, Low-latency and Hybrid-enabled Vector Search in Postgres. Revolutionize Ve···
kitchenai
开源
让AI团队像做菜一样，轻松管理模型和提示词，快速上线应用。
Open Source LLMOps tool for AI teams
1Cat-vLLM
开源
让 V100 老卡也能跑现代大模型推理
V100 / SM70-focused vLLM engineering fork for modern LLM inference.
lancedb
开源
嵌入式向量检索，少运维多搜索，多模态 AI 即插即用
Developer-friendly OSS embedded retrieval library for multimodal AI. Search More; Ma···
container
开源
给 AI 编程助手套上沙箱，放心让它全权限干活。
Persistent Linux workspaces for agentic development.
strix-halo-guide
开源
AMD Strix Halo 跑本地大模型，先看这份实测指南再动手
Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama···
Containarium
开源
给 AI 代理套上安全隔离壳，放心执行任意代码
Open-source agent runtime — SSH-native isolation, eBPF egress policy, Kubernetes + ···
tokscale
开源
终端里统一看 AI 编程 token 消耗，参与全球排行。
️ Track token usage across AI coding agents from your terminal. Global leaderboard···