sacremoses
Moses 文本预处理工具一键迁移到 Python，让分词大小写规范化不再愁
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-08 · 当前星标 ★ 497
使用教程
环境要求
- Python 3.8+
安装与启动步骤
-
1装包
一条命令。
pip install -U sacremoses -
2调分词
命令行与接口都能用。
sacremoses tokenize --help -
3调还原
分词后可逆还原。
sacremoses detokenize --help -
4调大小写与规范化
还有改写与标准化子命令。
sacremoses normalize --help
如何确认成功
对一段带标点与缩写的英文分词后再还原，文本与原文一致且标点位置未错
注意事项
- 它是多语言文本预处理的常用工具，分词、还原、大小写改写、标准化都有。
- 只支持较新的 Python 版本，老环境要装旧版。
- 分词与还原必须成对使用，否则标点会跑位。
- 机器翻译与语料清洗流水线里很常见。
核心亮点
- 与 Moses 规则完全一致，保证跨语言 NLP 流水线兼容性
- 纯 Python 实现，无外部依赖，安装即用，部署轻量
- 内置 truecaser 训练接口，可针对语料自动学习大小写规则
不足之处
- 文档较简略，API 示例不足，上手需参考源码
- 不支持增量式 truecaser 训练，大规模语料需全量重训
适用场景
- 机器翻译数据预处理，统一分词和大小写格式
- 多语言语料清洗，规范化 Unicode 字符
- 构建 NLP 基线系统，快速复现 Moses 效果
替代项目
spaCy、NLTK、Hugging Face Tokenizers
上一篇：AgentMeasure
下一篇：FreeToken
同类项目推荐
darwin
开源
一站式管理 ML 模型，从实验到上线更省心
ML Platform at Dream11
compressed-tensors
开源
让量化稀疏模型权重标准化存盘、一键加载
A safetensors extension to efficiently store sparse quantized tensors on disk
qwen38-mtp
开源
一个 flag 让本地 Qwen 解码快四成
One llama.cpp flag unlocks +33-39% decode speed for Qwen3.8-27B on consumer GPUs. Th···
Containarium
开源
给 AI 代理套上安全隔离壳，放心执行任意代码
Open-source agent runtime — SSH-native isolation, eBPF egress policy, Kubernetes + ···
vllm-metal
开源
让 Mac 也能跑 vLLM 高吞吐推理
Community maintained hardware plugin for vLLM on Apple Silicon
token-limit
开源
盯紧 AI 上下文用量，超限自动提醒，省钱省心
Monitor how many tokens your code and configs consume in AI tools. Set budgets and g···
lilypad
开源
像管代码一样管模型，一键追踪、标注、迭代
Open-source versioning, tracing, and annotation tooling.
PS5LM
开源
越狱 PS5 原生跑 GGUF 大模型
llama.cpp on a jailbroken PS5: run any GGUF model natively on the console, starting ···
kronk
开源
Go 项目一键接入本地大模型、语音和图像生成
Go With Your Own Intelligence! Use Go for hardware accelerated local inference with ···