chonky

用神经网络智能切分文本,提升检索与问答精度

chonky 是一个基于全神经网络的文本分块(text chunking)工具,旨在解决传统基于规则或统计方法在文本分割上的局限性。它利用深度学习模型自动学习文本的语义边界,将长文本切分为语义完整、结构合理的块,从而提升下游任务(如信息检索、问答系统)的效果。项目提供简洁的 Python API,支持自定义模型训练与推理,核心能力包括高精度分块、上下文感知分割以及灵活的集成方式。对于需要处理大规模文本数据的开发者,chonky 能显著减少人工设计规则的成本,并适应多种语言和领域。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 421
维护状态 低维护
是否开源
定价模式 free

项目数据

分类搜索知识
开发团队mirth
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型ai,chunking,llms,ml,rag,semantic-chunking,text-splitter
GitHub 星标★ 421
30天Star增速
HF 下载量
上线时间2025-04-08 00:00:00
最近更新2026-09-10 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

核心亮点

  • 全神经网络模型,自动学习语义边界,比规则方法更灵活
  • 支持自定义训练,可适配特定领域或语言
  • API简洁,易于集成到现有Python文本处理流程

不足之处

  • 早期项目,文档和社区支持尚不完善
  • 模型推理可能较慢,对长文本处理效率待优化

适用场景

  • 信息检索系统中的文本预处理
  • 问答系统的段落切分
  • 长文档的语义结构分析

替代项目

spaCy、NLTK、transformers

项目介绍

chonky 是开发框架领域的开源项目,由 mirth 开发,2025 年首次发布。

它收录于开发框架分类,该分类目前共有 795 个项目,GitHub 星标数为 421。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-10。MIT许可证,完全免费,无付费版本。

它主要面向的使用场景是:信息检索系统中的文本预处理。同类可对比的替代方案包括 spaCy、NLTK、transformers。

上一篇:dive-into-spring-ai

下一篇:ratel

同类项目推荐

langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 146874 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 166529 2026-08-09
pi 开源

一套 TypeScript 工具包,快速搭出能写代码的 AI agent

AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI

★ 108504 2026-09-12