项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 281
核心亮点
- 直接解析 WARC 格式，无需预处理转换，简化归档数据接入
- 模块化流水线设计，便于替换嵌入模型或向量库
- 提供端到端示例，快速上手从存档到问答的完整流程
不足之处
- 早期项目，文档和社区支持尚不完善
- 对大规模 WARC 文件的性能优化有限
适用场景
- 数字档案馆的智能检索与问答
- 历史网页内容的学术研究辅助
- 机构内部网络归档的知识挖掘
替代项目
txtai、LangChain、Haystack
上一篇：MinerU-HTML
下一篇：NanoSage
同类项目推荐
kaas
开源
把散乱笔记编译成可查询的 Markdown 知识库，供 AI 代理调用。
Turn scattered notes, docs and transcripts into a queryable Markdown wiki — an LLM ···
pg_vectorize
开源
在 Postgres 里直接搞定全文+语义搜索，不用额外部署向量库
Full-text and semantic search on any Postgres
flexible-graphrag
开源
一键搭建企业级知识图谱问答系统，支持多源数据自动同步。
GraphRAG, RAG, LlamaIndex, LangChain, 15 Prop Graph, 4 RDF, 10 Vector, 3 Search DBs.···
farfalle
开源
自建私有 AI 搜索，接入任意大模型，告别广告和隐私焦虑。
AI search engine - self-host with local or cloud LLMs
tw-legal-rag
开源
输入法律问题，一键检索台湾判例并打包给AI分析。
台灣法律 MCP 伺服器 + CLI（免費、免金鑰，連接時登入法律偵探帳號）：2,277 萬筆裁判書、···
onyx
开源
连接所有知识源，用 AI 聊天搞定企业搜索
Open Source AI Platform - AI Chat with advanced features that works with every LLM
Awesome-RAG
开源
一站式收藏 RAG 前沿资源，快速掌握增强生成技术
Awesome RAG: A resource of Retrieval-Augmented Generation (RAG) for LLMs, focusing o···
MemGallery
开源
把语音、图片、笔记和链接收进一个本地 AI 记忆库，随时搜得到
MemGallery: A smart memory bank to store all your memories from audio, images, text,···
BYO-LLM-WIKI
开源
用大模型自动构建你的知识库，还能自动生成技能
Build your own LLM-native WIKI (knowledge library). Search, extract, summarize, Q&A ···