chonkiejs

快速切分长文本,轻松构建RAG应用

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 16 🐛 待处理 14 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 368
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源MIT协议,完全免费,可自行部署使用。

项目预览

chonkiejs 项目界面预览图
图片来源:项目官网

项目数据

分类搜索知识
开发团队feyninc
官网地址https://chonkie.ai
定价模式🏷️完全免费
价格说明开源MIT协议,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,chonkie,chunker,chunking-algorithm,llms,rag,retrieval-systems,semantic-chunker,splitting-algorithms,text-splitter,typescript
GitHub 星标★ 368
上线时间2025-05-01 00:00:00
代码更新2026-10-03
仓库体积1.2 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

Chonkie 是一个轻量级、类型友好的文本分块(chunking)库,专为处理长文本而设计。它解决了在构建 RAG(检索增强生成)或向量搜索应用时,如何将长文档高效切分为语义完整、长度可控的文本块的问题。Chonkie 提供了多种分块策略,包括固定大小分块、递归字符分块和语义分块等,用户可以根据需求灵活选择。其核心优势在于极简的 API 设计、高性能的处理速度以及完整的 TypeScript 类型支持,使得开发者能够快速集成并减少运行时错误。与同类库相比,Chonkie 更注重轻量化和易用性,适合需要快速实现文本预处理的中小型项目。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 368

技术标签

核心亮点

  • API 极简,几行代码即可完成文本分块,上手成本极低
  • TypeScript 原生支持,类型安全,减少开发调试时间
  • 内置多种分块策略(固定、递归、语义),适配不同场景

不足之处

  • 项目早期,文档和社区生态尚待完善
  • 高级分块策略(如语义)可能依赖外部模型,增加部署复杂度

适用场景

  • 构建 RAG 应用时预处理知识库文档
  • 为向量数据库生成文本嵌入前的分块
  • 需要快速将长文本切分为适合 LLM 上下文窗口的片段

替代项目

langchain-text-splitters、tiktoken、text-splitter

上一篇:easy-vecdb

下一篇:rushdb

同类项目推荐

RuVector 开源

用 Rust 打造的实时自学习向量图数据库,让 AI 记忆更聪明。

RuVector provides High Performance, Real-Time decisions and agent memory , Self-Lear···

★ 4675 2026-08-10
5.0-Ai-Engineering-Toolkit 开源

一套 Python 工具,把 AI 训练到部署的脏活串起来

Engineering toolkit for building scalable AI systems, including model training pipel···

★ 475 2026-09-19
mlops-templates 开源

把机器学习模型快速、标准化地部署到 Azure 生产环境

Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your ma···

★ 144 2026-08-09
deepreasoning 开源

让 Claude 思考过程可见,结合 DeepSeek R1 推理链,提升 AI 决策透明度。

A high-performance LLM inference API and Chat UI that integrates DeepSeek R1's CoT r···

★ 5354 2026-08-09
matrixone 开源

一个库搞定事务、分析、向量与数据版本

AI-native HTAP database with Git-for-Data and built-in vector search, serving as the···

★ 2063 2026-10-24
envd 开源

一条命令搞定可复现开发环境,人和 AI 都能用

️ Reproducible development environment for humans and agents

★ 2243 2026-08-09
agentwatch 开源

给 AI 智能体装上监控摄像头,一眼看透每次交互

A powerful AI observability framework that provides comprehensive insights into agen···

★ 127 2026-08-09
metal-flash-attention 开源

在 Apple 芯片上让注意力计算飞起来,加速 Stable Diffusion 推理。

FlashAttention (Metal Port)

★ 615 2026-08-09
FastDeploy 开源

用飞桨生态,一键部署大模型到生产环境

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddleP···

★ 3725 2026-08-09