chunky

让 RAG 分块不再玄学,轻松对比策略、清洗文档、检查质量

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 21 👀 关注 3
GitHub ↗
GitHub 星标 ★ 195
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源工具包,MIT许可证,完全免费,无付费版本。

项目预览

chunky 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队GiovanniPasq
定价模式🏷️完全免费
价格说明开源工具包,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chonkie,chunk-validation,chunking,chunking-algorithm,docling,document-chunking,document-extraction,document-processing,langchain,llms,markdown,pdf-processing,pdf-to-markdown,rag,rag-chunk,rag-evaluation,rag-pipeline,retrieval-augmented-generation,semantic-chunker,text-splitter
GitHub 星标★ 195
上线时间2026-03-06 00:00:00
代码更新2026-10-17
仓库体积37.1 MB
本站数据更新2026-11-08
维护状态较活跃
收录时间2026-08-09
浏览次数2

项目介绍

chunky 是一个面向可靠 RAG(检索增强生成)管道的开源工具包,主要解决文档处理与分块环节中的痛点。它提供从 PDF 到 Markdown 的转换、文档清洗、分块质量检查、分块策略对比以及元数据丰富等功能,帮助开发者构建更稳定、更高质量的检索系统。核心能力包括:支持多种 PDF 解析方式并统一输出 Markdown,便于后续处理;内置文档清洗工具,可去除噪声内容;提供可视化或统计方式检查分块效果,避免语义割裂;支持对比不同分块策略(如固定大小、语义分块)对检索质量的影响;还能自动提取并补充元数据(如标题、页码、章节),增强检索上下文。整体上,chunky 试图成为 RAG 开发流程中的实用工具箱,降低实验和调优成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 195

核心亮点

  • 提供统一 PDF 转 Markdown 流程,简化多格式文档预处理
  • 内置分块策略对比功能,可量化评估不同分块方式的效果
  • 支持元数据自动补充,增强检索上下文和回答准确性

不足之处

  • 项目处于早期阶段,文档和社区生态尚待完善
  • 功能覆盖面广但深度可能不足,部分高级场景需自行扩展

适用场景

  • 构建企业知识库问答系统时,需要清洗和分块大量 PDF 文档
  • 对比不同分块策略对 RAG 检索效果的影响,进行实验调优
  • 为 LLM 应用准备高质量文档数据,需要提取结构化元数据

替代项目

LlamaIndex、LangChain、unstructured

上一篇:SwiftSemanticSearch

下一篇:PaperLens

同类项目推荐

rag-chat 开源

快速搭建检索增强对话原型,验证 RAG 想法。

Prototype SDK for RAG development.

★ 256 2026-08-09
AITreasureBox 开源

自动抓取AI资源,一站找齐工具论文教程

Automatically collected AI repos, tools, websites, papers & tutorials. 实用AI百宝箱

★ 919 2026-09-16
docsagent 开源

让 AI 秒读你的 Zotero 文献库,本地私密检索

⚡ DocsAgent — give your AI agents instant, private access to your personal knowled···

★ 578 2026-09-22
VARAG 开源

让 RAG 看懂图片,多模态问答更准确

Vision-Augmented Retrieval and Generation (VARAG) - Vision first RAG Engine

★ 501 2026-08-09
Des-CTF-Knowledge 开源

CTF 资料一库打尽,AI 问答秒查漏洞与题解

2026 CTF 知识库:12 篇 Web 漏洞深度文章 + 1049 篇历年大赛 WP + 110 个解题脚本 + Payl···

★ 471 2026-10-02
BibiGPT-v1 开源

一键总结音视频,对话式学习,省时省力

BibiGPT v1 · one-Click AI Summary for Audio/Video & Chat with Learning Content: Bil···

★ 6272 2026-08-09
llm-chatbot-rag 开源

本地跑通PDF智能问答,让文档自己开口说话

A local LLM chatbot with RAG for PDF input files

★ 97 2026-08-09
medical-rag 开源

一键搭中文医学知识库,问答有据可查

医学中文RAG项目,使用langchain+milvus,支持快速一键式部署,支持无缝领域迁移

★ 310 2026-09-25
awesome-rag 开源

一站式收藏 RAG 精华资源,快速上手检索增强生成

A curated list of retrieval-augmented generation (RAG) in large language models

★ 455 2026-08-09