项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 107
核心亮点
- LLM驱动内容理解，自动过滤低质页面，提取关键信息
- 基于Ray分布式架构，可横向扩展抓取规模
- 嵌入向量存入向量库，支持语义去重和快速检索
不足之处
- 文档/社区待观察
- 早期项目，功能完整性和稳定性未充分验证
适用场景
- 构建企业知识库，自动抓取内部文档和外部网页
- 为RAG应用收集高质量语料，减少人工清洗
- 垂直领域数据监控，如新闻、竞品信息聚合
替代项目
Scrapy、Crawlee、Firecrawl
上一篇：RAG-Play
下一篇：quanta-quest
同类项目推荐
piragi
开源
让 RAG 集成像调用函数一样简单
The best RAG interface yet.
consult-web
开源
在 Emacs 里直接搜全网，不切窗口效率翻倍
Powerful Web and Omni Search inside Emacs
free-ai-tools
开源
免费低价 AI 工具一页找齐，少花钱搭应用
Curated list of free and low cost AI tools, LLM APIs, IDEs, agents, and infrastructu···
VSA
开源
让AI看懂图片后，自动搜索并回答多模态问题
Vision Search Assistant: Empower Vision-Language Models as Multimodal Search Engines
rag-fusion
开源
多路检索融合，让 RAG 答案更准更全
RAG-Fusion: multi-query generation + Reciprocal Rank Fusion for better retrieval-aug···
DeepWideResearch
开源
自定义深度和广度的智能体研究，多源信息自动整合成报告
Agentic RAG for any scenario. Customize sources, depth, and width
ai_wiki
开源
一站收齐 AI 全栈学习资源与实战笔记
《AI全栈-全网优秀资源搜集站》：搜集全网优秀资源，记载工程实践问题的解决策略与关键要点···
pandas-ai
开源
用大白话跟数据库聊天，秒出分析结果
Chat with your database or your datalake (SQL, CSV, parquet). PandasAI makes data an···
GEORank
开源
追踪内容在生成式搜索中的排名与引用表现
Open-source GEO ranking and generative engine optimization platform.