hashformers

用Transformer精准拆分乱标签,轻量高效,还能接入智能代理工作流。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 6 👀 关注 3
GitHub ↗
GitHub 星标 ★ 78
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

hashformers 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队ruanchaves
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,hashtag-segmentor,large-language-models,llms,natural-language-processing,nlp,paper,segmentation,sentiment-analysis,sentiment-classification,sentiment-polarity,spacy,spacy-extension,spacy-extensions,transformers,tweet-analysis,tweets-classification,twitter,twitter-sentiment-analysis,word-segmentation
GitHub 星标★ 78
上线时间2020-05-21 00:00:00
代码更新2026-08-04
仓库体积25.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

hashformers 是一个基于 Transformer 的哈希标签分割工具,旨在将连写或拼接的标签(如 #机器学习入门)自动切分为有意义的词语序列。它解决了传统启发式规则分割准确率低、以及调用大型语言模型成本高的问题,提供了一种轻量且可扩展的替代方案。核心能力包括:使用预训练 Transformer 模型进行序列标注,结合 beam search 优化分割路径,并通过 RRF(倒数排名融合)集成多个模型结果以提升鲁棒性。此外,项目还支持 MCP(模型上下文协议)工作流,便于集成到智能代理或自动化管道中。整体设计注重性能与部署便捷性,适合需要高效处理社交文本标签的 NLP 应用场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 78

核心亮点

  • 采用beam search和RRF集成,分割准确率优于简单启发式规则
  • 基于Transformer模型,能理解语义而非仅靠字符特征
  • 支持MCP协议,方便集成到AI代理和自动化流水线

不足之处

  • 项目处于早期阶段,文档和社区支持尚待完善
  • 依赖预训练模型,对低资源语言或领域术语可能效果有限

适用场景

  • 社交媒体标签清洗与内容分类预处理
  • 搜索索引中的标签规范化
  • NLP流水线中的文本分词辅助模块

替代项目

wordninja、word-breaker、deepsegment

上一篇:ollama4j

下一篇:meta-prompting

同类项目推荐

trpc-agent-go 开源

用 Go 快速构建生产级 AI Agent,支持图编排与 MCP 生态

A Go framework for building production agent systems with graph workflows, tools, me···

★ 1912 2026-08-09
bisheng 开源

一站式搞定企业大模型应用开发、微调与运维

BISHENG is an open-source enterprise Agent platform for building, deploying, and man···

★ 12183 2026-08-09
lightspeed 开源

用 Temporal 打造确定性 AI 智能体,让每次执行都可预测、可恢复。

Deterministic agent harness for Temporal (in Rust)

★ 272 2026-08-09
req_llm 开源

Elixir 里统一调用各家大模型,管道式组合

Composable Elixir library for LLM interactions built on Req and Finch

★ 604 2026-09-16
agentic-design-patterns 开源

29种智能体设计模式,照着选型,少走弯路

29 essential agentic design patterns for building intelligent AI systems

★ 128 2026-08-09
bosquet 开源

用 Clojure 构建 LLM 应用,模板+智能体+记忆一站式搞定

Tooling to build LLM applications: prompt templating and composition, agents, LLM me···

★ 379 2026-08-09
reverse-check 开源

浏览器里直接测 LLM 接口,免装后端秒出结果

Pure Front-End LLM API Testing Tool

★ 86 2026-08-09
JioNLP 开源

中文文本预处理一步到位,几十种工具开箱即用

中文 NLP 预处理、解析工具包,准确、高效、易用 A Chinese NLP Preprocessing & Parsing ···

★ 3874 2026-08-09
lang-agent 开源

拖拽式配置 AI 智能体,快速搭建对话工作流

基于LangChain和LangGraph实现的AI Agent配置平台

★ 331 2026-08-09