crawl4ai

环境要求

• 已安装 Python 与 pip 环境
• 可访问外网（安装依赖与抓取网页）
• 如需容器部署需已安装 Docker
• 如需修改源码需 git

安装与启动步骤

1. 1安装 Crawl4AI

   用 pip 安装并升级到最新版，默认装异步版本，底层用 Playwright 抓取网页。

   pip install -U crawl4ai

   复制

2. 2初始化运行环境

   执行安装后脚本，自动下载并配置 Playwright 浏览器等运行依赖。

   crawl4ai-setup

   复制

3. 3检查安装状态

   运行自检命令，排查环境与依赖是否就绪；有报错按提示修复。

   crawl4ai-doctor

   复制

4. 4手动装浏览器

   仅在出现 Playwright/浏览器相关报错时执行，自动安装 chromium 及系统依赖。

   python -m playwright install --with-deps chromium

   复制

5. 5运行爬取示例

   新建 py 文件写入官方示例，异步抓取指定网页并打印 LLM 友好的 Markdown。

   import asyncio
   from crawl4ai import *
   
   async def main():
       async with AsyncWebCrawler() as crawler:
           result = await crawler.arun(
               url="https://www.nbcnews.com/business",
           )
           print(result.markdown)
   
   if __name__ == "__main__":
       asyncio.run(main())

   复制

6. 6Docker 方式部署

   可选方案，拉取官方镜像并以 11235 端口启动服务，共享内存需设为 1g。

   docker pull unclecode/crawl4ai:latest
   docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest

   复制

7. 7源码开发安装

   适合要改源码的贡献者，克隆仓库后以可编辑模式安装，按需追加可选特性。

   git clone https://github.com/unclecode/crawl4ai.git
   cd crawl4ai
   pip install -e .

   复制

关键配置

如何确认成功

执行 crawl4ai-doctor 无报错，且运行示例脚本能成功打印出网页的 Markdown 内容即表示正常。

常见问题

注意事项

• 同步（Selenium）版本已废弃，后续版本将移除，新项目请用异步版本
• Docker 部署必须保留 --shm-size=1g，否则容器内浏览器易内存不足
• pip 安装会默认带上异步版本与 Playwright，务必执行 crawl4ai-setup 完成浏览器初始化
• v0.9.3 为安全修复版本，建议安装/升级到最新版避免已知漏洞