chunking
本站收录 11 个带「chunking」标签的 AI 开源项目
chonkychonky 是一个基于全神经网络的文本分块（text chunking）工具，旨在解决传统基于规则或统计方法在文本分割上的局限性。它利用深度学习模型自动学习文★ 420
adaptive-chunkingAdaptive Chunking 是一个用于 RAG（检索增强生成）的智能文本分块工具，核心思想是根据每篇文档的自身特点自动选择最优的分块策略，而不是对所有文★ 394
rag-experiment-acceleratorRAG Experiment Accelerator 是一个用于加速检索增强生成（RAG）实验与评估的 Python 工具，主要面向 Azure Cogniti★ 312
smart-llm-loadersmart-llm-loader 是一个轻量级 Python 包，用于将各种文档（PDF、Markdown 等）转换为适合 LLM 处理的文本块。它解决了 RA★ 291
llmdocparserllmdocparser 是一个基于 Python 的 PDF 解析与内容分析工具，它利用大型语言模型（LLM）来理解和提取 PDF 文档中的结构化信息。该项目★ 267
docling-Studiodocling-Studio 是一个基于 Docling 的可视化文档分析工作台，面向需要处理 PDF 等复杂文档的开发者与数据团队。它把文档解析流水线搬到浏览★ 262
oxidizePdfoxidizePdf 是一个用纯 Rust 编写的 PDF 处理库，专为 AI 和 RAG 场景设计。它解决了 PDF 在检索增强生成中文本提取结构混乱、分块不★ 192
chunkychunky 是一个面向可靠 RAG（检索增强生成）管道的开源工具包，主要解决文档处理与分块环节中的痛点。它提供从 PDF 到 Markdown 的转换、文档清★ 182
pdfstractPDFStract 是一个专注于 RAG（检索增强生成）流程的 PDF 处理工具，提供从 PDF 中提取文本、智能分块（chunking）和向量化嵌入（embe★ 154
rag-chunkrag-chunk 是一个 Python 命令行工具，专门用于测试、基准测试和寻找最适合 Markdown 文档的 RAG（检索增强生成）分块策略。它解决了 R★ 120
pgragpgrag 是一个已废弃、不再维护的 Postgres 扩展集合，旨在为 Postgres 提供端到端的检索增强生成（RAG）流水线支持。它用 Rust 编写，★ 101