sacremoses
Moses 文本预处理工具一键迁移到 Python，让分词大小写规范化不再愁
sacremoses 是 Moses 机器翻译工具包中分词器、真大小写转换器和文本规范化器的 Python 移植版本。它解决了 NLP 流水线中文本预处理不统一的问题，提供与 Moses 一致的分词、大小写还原和规范化功能，确保训练和推理阶段的数据处理一致性。核心能力包括：基于 Moses 规则的分词（支持多种语言）、truecaser 模型训练与应用、Unicode 规范化（NFKC 等）以及可扩展的 API。项目轻量、无外部依赖，适合集成到机器翻译、文本挖掘等任务中。
开源
free
基础设施
GitHub 星标
★ 497
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队hplt-project
所属国家
定价模式free
价格说明开源免费
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型machine-translation,nlp,tokenizer
GitHub 星标★ 497
30天Star增速
HF 下载量
上线时间2018-04-20 00:00:00
最近更新2026-09-07 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-08
浏览次数2
使用教程
核心亮点
- 与 Moses 规则完全一致，保证跨语言 NLP 流水线兼容性
- 纯 Python 实现，无外部依赖，安装即用，部署轻量
- 内置 truecaser 训练接口，可针对语料自动学习大小写规则
不足之处
- 文档较简略，API 示例不足，上手需参考源码
- 不支持增量式 truecaser 训练，大规模语料需全量重训
适用场景
- 机器翻译数据预处理，统一分词和大小写格式
- 多语言语料清洗，规范化 Unicode 字符
- 构建 NLP 基线系统，快速复现 Moses 效果
替代项目
spaCy、NLTK、Hugging Face Tokenizers
项目介绍
上一篇：AgentMeasure
下一篇：FreeToken
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
OpenAI-compatible gateway for FreeBuff coding models. Token pool, session lifecycle,···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···