Craw4LLM

让爬虫懂LLM需求，抓取即训练语料

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 60 🐛 待处理 4 👀 关注 4

GitHub ↗

GitHub 星标 ★ 667

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队cxcscmu

GitHubhttps://github.com/cxcscmu/Craw4LLM

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型crawler,crawling,large-language-models,llm,pre-training,pretraining,web-crawler,web-crawling

GitHub 星标★ 667

上线时间2025-02-17 00:00:00

代码更新2025-02-24

仓库体积81 KB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

Craw4LLM 是一个面向大语言模型预训练的高效网页爬取工具，源自同名学术论文。它解决的是传统爬虫抓取网页时内容冗余、噪声大、与训练目标不匹配的问题，通过将爬取过程与LLM的预训练需求结合，自动筛选和提取高质量文本。核心能力包括：基于内容质量评估的智能抓取、针对预训练语料优化的文本清洗、以及支持大规模并行爬取的架构。其创新点在于利用LLM自身反馈指导爬取策略，从而在有限带宽和算力下获取更有效的训练数据。项目提供Python接口，便于集成到现有数据流水线中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 667

技术标签

crawler large-language-models llm pre-training pretraining

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 50 分钟部署方式：本地安装 4 步

环境要求

Python 3.10+
可用的抓取出口
磁盘空间

安装与启动步骤

1克隆仓库

面向 LLM 预训练的网页抓取研究代码。
```
git clone https://github.com/cxcscmu/Craw4LLM
```
2准备配置

抓取行为由配置文件控制，先看示例配置的字段含义。
3跑抓取

小规模试抓确认解析正常，再放大。
```
python crawl.py crawl --config config.yaml
```
4抽取正文

按文档 ID 批量抽正文，注意并发与超时。
```
python fetch_docs.py --input_dir ids --output_dir texts --num_workers 8
```