split-lang

一句话拆开混合语言,让 NLP 更精准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 11 🐛 待处理 3 👀 关注 1
GitHub ↗
GitHub 星标 ★ 74
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源Python包,MIT许可证,完全免费,可自行部署使用。

项目预览

split-lang 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队DoodleBears
定价模式🏷️完全免费
价格说明开源Python包,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型budoux,detectlang,fasttext,i18n,langdetect,language-identification,languagedetector,nlp,pip,python,pythonpackage,sentence-segmenter,split,tts
GitHub 星标★ 74
上线时间2024-06-28 00:00:00
代码更新2025-09-18
仓库体积305 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

split-lang 是一个用于 NLP 任务的文本语言分割工具,能将混合多种语言的文本按语言边界切分,例如将“你喜欢看アニメ吗”拆分为“你喜欢看 | アニメ | 吗”。它基于 fasttext 进行语言检测,并结合 budoux 进行日语分词,从而准确识别不同语言的片段。该工具主要解决多语言混合文本在解析、TTS 等场景下的处理难题,提供简单的 Python API 和 pip 安装方式,支持自定义语言模型,便于集成到现有 NLP 流水线中。项目处于早期阶段,但核心功能已可用,适合需要处理中日韩等混合语言文本的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 74

技术标签

核心亮点

  • 基于 fasttext 和 budoux,语言检测准确度高
  • 提供简洁 Python API,易于集成到 NLP 流程
  • 支持自定义语言模型,灵活适配不同场景

不足之处

  • 文档/社区待观察
  • 仅支持 pip 安装,依赖较多

适用场景

  • 多语言混合文本的分词与解析
  • TTS 前端文本归一化与语言切换
  • 跨语言信息抽取与翻译预处理

替代项目

langdetect、fastText 语言识别、polyglot

上一篇:esp-ai

下一篇:MNNServer

同类项目推荐

yek 开源

把整个代码库一键打包成 LLM 能懂的上下文

A fast Rust based tool to serialize text-based files in a repository or directory fo···

★ 2475 2026-08-09
mlplatform-workshop 开源

用示例代码快速搭建机器学习平台骨架

Example code for a basic ML Platform based on Pulumi, FastAPI, DVC, MLFlow and more

★ 444 2026-08-09
Sipp 开源

浏览器里直接跑 GGUF 大模型,零依赖 WebGPU 加速

AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···

★ 124 2026-10-16
arboric 开源

给 AI 算力开经济模式,省 GPU 跑更多活

The "Economy Mode" for AI Compute

★ 45 2026-08-09
mega 开源

为 AI 代理打造的 Git 兼容 monorepo 引擎,让大规模协作更高效。

Mega is an open-source implementation of Google Piper — a Git-compatible monorepo e···

★ 539 2026-08-09
fastrtc 开源

几行 Python 代码,让应用实时开口说话

The python library for real-time communication

★ 4636 2026-08-09
dinotty 开源

让 AI 代理在服务器上拥有持久终端,多设备随时接入

Multi-device terminal server for AI coding agents. Server-side VTE, session persiste···

★ 737 2026-08-09
nodedb 开源

给 AI 智能体装上持久记忆,边缘到云端无缝同步

The memory & storage database engine for AI agents. Multi-model, edge-to-cloud, Post···

★ 246 2026-08-09
pai 开源

管好 GPU 集群,让 AI 训练快人一步

Resource scheduling and cluster management for AI

★ 2697 2026-08-16