chonkie

给 RAG 管道装上涡轮，让文档切块又快又准

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署搜索知识 🍴 复刻 370 🐛 待处理 50 👀 关注 15

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4827

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源库，MIT 许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类搜索知识

开发团队feyninc

官网地址https://docs.chonkie.ai

GitHubhttps://github.com/feyninc/chonkie

定价模式🏷️完全免费

价格说明开源库，MIT 许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai,chonkie,chunker,chunking-algorithm,llms,rag,retrieval-systems,semantic-chunker,similarity-search,splitting-algorithms,text-splitter

GitHub 星标★ 4827

上线时间2025-03-29 00:00:00

代码更新2026-11-05

仓库体积24.7 MB

本站数据更新2026-11-10

维护状态活跃

收录时间2026-08-09

浏览次数2

项目介绍

Chonkie 是一个轻量级的 Python 文本分块（chunking）库，专为 RAG（检索增强生成）管道设计。它解决的是将长文档切分为适合嵌入和检索的文本块这一核心问题，避免因块过大导致检索不精准或块过小丢失上下文。Chonkie 提供多种分块策略，包括基于 Token 的固定长度分块、基于句子的语义分块、基于段落的分块以及递归字符分块等，并支持与 LangChain、LlamaIndex 等主流框架无缝集成。其设计强调性能与效率，底层采用 Rust 加速核心逻辑，在保证分块质量的同时显著提升处理速度。库的 API 简洁直观，易于上手，同时提供丰富的配置选项以满足不同场景需求。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4827

技术标签

ai llms rag similarity-search

使用教程

难度：入门约 5 分钟部署方式：库/依赖 5 步

环境要求

Python 环境（可用 pip 安装包）
可选：已安装 uv 以获得更快的安装速度
安装前确认目标环境是否允许安装全部可选依赖（生产环境不建议）

安装与启动步骤

1基础安装

Chonkie 的最小安装方式，只装核心包。README 推荐的入门首选，适用于大多数分块场景。
```
pip install chonkie
```
2用 uv 安装（可选）

如果本机已安装 uv，可用同一条包名安装，速度更快。二选一即可，不必重复安装。
```
uv pip install chonkie
```
3安装全部组件

不想逐个挑选 chunker 时安装 all 元包，一次装齐所有可选依赖。README 明确不推荐用于生产环境。
```
pip install "chonkie[all]"
```
4按需安装扩展

README 给出的组合示例：安装 API、语义分块、代码分块依赖，并包含 catsu 多提供方嵌入支持。
```
pip install "chonkie[api,semantic,code,catsu]"
```
5验证安装

导入 Pipeline 类确认包已正确安装。能打印出 Chonkie ready 说明安装成功。
```
python -c "from chonkie import Pipeline; print('Chonkie ready')"
```

如何确认成功

执行 python -c "from chonkie import Pipeline; print('Chonkie ready')"，终端输出 Chonkie ready 即安装成功。

常见问题

Q：基础安装和 chonkie[all] 该选哪个？

A：先用 pip install chonkie 装核心；需要某个特定 chunker 时按官方文档只装对应扩展。chonkie[all] 一次装齐但体积大，README 明确不推荐在生产环境使用。

Q：用 pip 还是 uv？

A：两者等价，包名和扩展写法完全一致。uv 安装更快，若本机已有 uv 可用 uv pip install 替代 pip install。

Q：chonkie[api,semantic,code,catsu] 是什么？

A：README 给出的按需安装示例，一次性带上 API 依赖、语义分块、代码分块以及 catsu 多提供方嵌入支持。

Q：支持多语言文本分块吗？

A：支持。README 说明开箱即用支持 56 种语言，无需额外语言包配置。

Q：如何做高吞吐的异步处理？

A：使用 chonkie.Pipeline，并以异步方式调用其 arun 方法（await pipe.arun(...)），README 给出了 asyncio 的用法示例。

注意事项

Chonkie 遵循最小安装原则，建议只安装你实际使用的 chunker 依赖，避免体积膨胀。
生产环境不要直接安装 chonkie[all]。
更多 chunker 选择、Pipeline 构建方式和集成方式（LangChain、LlamaIndex 等）需查阅官方文档 https://docs.chonkie.ai。
README 中基础用法与 Pipeline 示例代码存在截断，完整可用示例请以官网文档为准。