项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 420
使用教程
环境要求
- Python 3.9+
安装与启动步骤
-
1装包
一个包，含预训练的分块模型。
pip install chonky -
2切一段长文
输入一段文档，看它切出的块是否语义完整。
-
3与按字数切对比
同一文档两种切法，检索效果差别会很明显。
-
4接进自己的检索流程
它只负责切分，向量化与检索要另外做。
如何确认成功
同一份文档用语义切分后，每个块都能独立读懂，且按字数硬切造成的断句问题不再出现
注意事项
- 它只做语义分块，不负责嵌入与检索。
- 首次运行会下载分词与分块模型，需要联网。
- 块大小上限要按你的嵌入模型上下文调，太长会被截断。
- 中文支持取决于底层模型，效果不如英文稳定，需实测。
- 分块只是检索质量的一环，召回差未必是分块的锅。
核心亮点
- 全神经网络模型，自动学习语义边界，比规则方法更灵活
- 支持自定义训练，可适配特定领域或语言
- API简洁，易于集成到现有Python文本处理流程
不足之处
- 早期项目，文档和社区支持尚不完善
- 模型推理可能较慢，对长文本处理效率待优化
适用场景
- 信息检索系统中的文本预处理
- 问答系统的段落切分
- 长文档的语义结构分析
替代项目
spaCy、NLTK、transformers
下一篇：ratel
同类项目推荐
agentic-rag-for-dummies
开源
用LangGraph快速搭建会思考的RAG智能体
A modular Agentic RAG built with LangGraph — learn Retrieval-Augmented Generation A···
nextpy
开源
让AI模型运行时自我进化，告别手动调参
Self-Modifying Framework from the Future World's First AMS
RAGLAB
开源
像搭积木一样对比RAG算法，论文复现不再头疼
[EMNLP 2024: Demo Oral] RAGLAB: A Modular and Research-Oriented Unified Framework fo···
magentic
开源
用装饰器把大模型变成普通 Python 函数，调用即得结果
Seamlessly integrate LLMs as Python functions
guardrails
开源
在函数参数上直接写校验规则，调用即验，省掉样板代码
Efficient, hassle-free function call validation with a concise inline syntax for clo···
railtracks
开源
让AI代理更抗造，干活不翻车
An agentic framework that helps developers build resilient agentic systems
llama-cookbook
开源
跟着官方菜谱，快速上手 Llama 模型开发
Welcome to the Llama Cookbook! This is your go to guide for Building with Llama: Get···
CodeFuse-muAgent
开源
给Agent装上知识图谱大脑，让复杂任务推理更准更可信
An Innovative Agent Framework Driven by KG Engine
llm
开源
终端里一句话调用各种大模型，省去写代码和切界面。
Use any LLM from the command line.