hashformers

用Transformer精准拆分乱标签，轻量高效，还能接入智能代理工作流。

hashformers 是一个基于 Transformer 的哈希标签分割工具，旨在将连写或拼接的标签（如 #机器学习入门）自动切分为有意义的词语序列。它解决了传统启发式规则分割准确率低、以及调用大型语言模型成本高的问题，提供了一种轻量且可扩展的替代方案。核心能力包括：使用预训练 Transformer 模型进行序列标注，结合 beam search 优化分割路径，并通过 RRF（倒数排名融合）集成多个模型结果以提升鲁棒性。此外，项目还支持 MCP（模型上下文协议）工作流，便于集成到智能代理或自动化管道中。整体设计注重性能与部署便捷性，适合需要高效处理社交文本标签的 NLP 应用场景。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 78

维护状态维护中

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ruanchaves

所属国家

官网地址

GitHubhttps://github.com/ruanchaves/hashformers

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型deep-learning,hashtag-segmentor,large-language-models,llms,natural-language-processing,nlp,paper,segmentation,sentiment-analysis,sentiment-classification,sentiment-polarity,spacy,spacy-extension,spacy-extensions,transformers,tweet-analysis,tweets-classification,twitter,twitter-sentiment-analysis,word-segmentation

GitHub 星标★ 78

30天Star增速

HF 下载量

上线时间2020-05-21 00:00:00

最近更新2026-08-04 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

采用beam search和RRF集成，分割准确率优于简单启发式规则
基于Transformer模型，能理解语义而非仅靠字符特征
支持MCP协议，方便集成到AI代理和自动化流水线

不足之处

项目处于早期阶段，文档和社区支持尚待完善
依赖预训练模型，对低资源语言或领域术语可能效果有限

适用场景

社交媒体标签清洗与内容分类预处理
搜索索引中的标签规范化
NLP流水线中的文本分词辅助模块

替代项目

wordninja、word-breaker、deepsegment

项目介绍

hashformers 是开发框架领域的开源项目，由 ruanchaves 开发，2020 年首次发布。

它收录于开发框架分类，该分类目前共有 795 个项目，GitHub 星标数为 78。

项目仍在小幅维护中，最近一次代码更新于 2026-08-04。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：社交媒体标签清洗与内容分类预处理。同类可对比的替代方案包括 wordninja、word-breaker、deepsegment。

上一篇：ollama4j

下一篇：meta-prompting