给 RAG 管道装上涡轮，让文档切块又快又准
Chonkie 是一个轻量级的 Python 文本分块（chunking）库，专为 RAG（检索增强生成）管道设计。它解决的是将长文档切分为适合嵌入和检索的文本块这一核心问题，避免因块过大导致检索不精准或块过小丢失上下文。Chonkie 提供多种分块策略，包括基于 Token 的固定长度分块、基于句子的语义分块、基于段落的分块以及递归字符分块等，并支持与 LangChain、LlamaIndex 等主流框架无缝集成。其设计强调性能与效率，底层采用 Rust 加速核心逻辑，在保证分块质量的同时显著提升处理速度。库的 API 简洁直观，易于上手，同时提供丰富的配置选项以满足不同场景需求。
1基础安装
Chonkie 的最小安装方式，只装核心包。README 推荐的入门首选，适用于大多数分块场景。
pip install chonkie2用 uv 安装（可选）
如果本机已安装 uv，可用同一条包名安装，速度更快。二选一即可，不必重复安装。
uv pip install chonkie3安装全部组件
不想逐个挑选 chunker 时安装 all 元包，一次装齐所有可选依赖。README 明确不推荐用于生产环境。
pip install "chonkie[all]"4按需安装扩展
README 给出的组合示例：安装 API、语义分块、代码分块依赖，并包含 catsu 多提供方嵌入支持。
pip install "chonkie[api,semantic,code,catsu]"5验证安装
导入 Pipeline 类确认包已正确安装。能打印出 Chonkie ready 说明安装成功。
python -c "from chonkie import Pipeline; print('Chonkie ready')"执行 python -c "from chonkie import Pipeline; print('Chonkie ready')"，终端输出 Chonkie ready 即安装成功。
Q：基础安装和 chonkie[all] 该选哪个？
A：先用 pip install chonkie 装核心；需要某个特定 chunker 时按官方文档只装对应扩展。chonkie[all] 一次装齐但体积大，README 明确不推荐在生产环境使用。
Q：用 pip 还是 uv？
A：两者等价，包名和扩展写法完全一致。uv 安装更快，若本机已有 uv 可用 uv pip install 替代 pip install。
Q：chonkie[api,semantic,code,catsu] 是什么？
A：README 给出的按需安装示例，一次性带上 API 依赖、语义分块、代码分块以及 catsu 多提供方嵌入支持。
Q：支持多语言文本分块吗？
A：支持。README 说明开箱即用支持 56 种语言，无需额外语言包配置。
Q：如何做高吞吐的异步处理？
A：使用 chonkie.Pipeline，并以异步方式调用其 arun 方法（await pipe.arun(...)），README 给出了 asyncio 的用法示例。
LangChain Text Splitters、LlamaIndex Node Parser、unstructured
chonkie 是搜索知识领域的开源项目，由 feyninc 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（4,766）位列前 9%，在搜索知识分类的 581 个项目里位列前 11%。
近 41 天，它的 GitHub 星标从 4,665 增加到 4,766，净增 101。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源库，MIT 许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：构建企业级知识库问答系统，需要高效处理海量PDF/Word文档。同类可对比的替代方案包括 LangChain Text Splitters、LlamaIndex Node Parser、unstructured。
firecrawl
开源
网页抓取像喝水一样简单，开发者省下整周加班
The web data API to search, scrape, and interact at scale.
contoso-chat
开源
一键跑通 Azure RAG 应用，从代码到评估部署全流程
This sample has the full End2End process of creating RAG application with Prompty an···
graphify
开源
整个代码库画成一张图，找问题一眼定位
Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···
ragflow
开源
让大模型用上你的私有知识，搭建可靠的企业级RAG应用
RAGFlow is a leading open-source Retrieval-Augmented Generation (RAG) engine that fu···