项目预览
项目数据
分类搜索知识
开发团队cdcailf
所属国家
定价模式free
价格说明开源免费使用
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chinese,cjk,nfkc,nlp,pdf-extraction,rag,retrieval,text-normalization,unicode
GitHub 星标★ 203
30天Star增速
HF 下载量
上线时间2026-10-13 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-21
浏览次数1
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
正在加载星标数据…
技术标签
使用教程
—
核心亮点
- 针对康熙部首和CJK部首补充区做专门折叠，解决NFKC单独处理不干净的形似字问题
- 纯Python轻量实现，可直接嵌入PDF抽取或RAG预处理流水线
- 提供可复用的映射逻辑，便于按业务补充自定义字形规则
不足之处
- 项目处于早期，星标和社区规模较小，长期维护待观察
- 仅覆盖字形折叠这一环，不包含PDF抽取、分词等完整链路
适用场景
- PDF批量解析后做中文全文检索前清洗文本
- RAG知识库入库前对抽取文本做规范化去重
- 合同/报告等文档的相似段落比对与查重
替代项目
OpenCC、unicodedata
上一篇：carrel
下一篇：searxNcrawl
同类项目推荐
firecrawl
开源
网页抓取像喝水一样简单，开发者省下整周加班
Supercharge your AI agents with data from the web and beyond. Building the library f···
graphify
开源
整个代码库画成一张图，找问题一眼定位
Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···
contoso-chat
开源
一键跑通 Azure RAG 应用，从代码到评估部署全流程
This sample has the full End2End process of creating RAG application with Prompty an···
WeKnora
开源
文档往里一扔，自动变成啥都能答的知识库
Open-source LLM knowledge platform: turn raw documents into a queryable RAG, an auto···