stopes

一键准备多语言翻译数据，从清洗到挖掘平行语料

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 数据集 🍴 复刻 48 🐛 待处理 90 👀 关注 17
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 315
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源库，MIT许可证，完全免费，无付费版本。

项目预览

stopes 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类数据集
开发团队facebookresearch
官网地址https://facebookresearch.github.io/stopes
GitHubhttps://github.com/facebookresearch/stopes
定价模式🏷️完全免费
价格说明开源库，MIT许可证，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型dataset,dataset-generation,machine-learning,machine-translation,machine-translation-data-processing,nmt,translation
GitHub 星标★ 315
上线时间2022-06-02 00:00:00
代码更新2026-08-16
仓库体积17.4 MB
本站数据更新2026-11-11
维护状态维护中
收录时间2026-08-10
浏览次数15

项目介绍

stopes 是由 Meta AI 的 FAIR NLLB 团队开发的数据集准备库，专为机器翻译研究设计。它解决的核心问题是多语言翻译数据处理的复杂性，提供从单语语料预处理到双语文本挖掘（bitext mining）的一站式工具链。其核心能力包括：大规模单语数据的清洗、过滤和去重；基于嵌入或词频的双语平行句对挖掘；支持多语言数据集的构建与平衡；以及集成 NLLB 项目的数据处理流程。该库以 Python 编写，模块化设计，便于研究人员定制流水线，尤其适合低资源语言的数据增强和语料构建。通过自动化处理，它显著降低了构建高质量翻译数据集的门槛，是 NMT 研究和应用的基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 315

核心亮点

  • 由 Meta FAIR NLLB 团队出品，处理多语言数据经验丰富，代码质量有保障
  • 内置 bitext mining 功能，可自动从大规模单语语料中挖掘平行句对
  • 模块化流水线设计，支持自定义预处理步骤，适配不同研究需求

不足之处

  • 文档/社区待观察
  • 项目处于早期阶段，API 可能不稳定，需关注版本更新

适用场景

  • 构建低资源语言的机器翻译训练数据集
  • 从网络爬取的多语语料中清洗并挖掘平行语料
  • 研究多语言翻译模型时的数据增强与平衡

替代项目

LASER、fastText、Moses

上一篇：X-AnyLabeling

下一篇：OpenConstructionEstimate-DDC-CWICR

同类项目推荐

GraphGen 开源

用知识图谱自动造微调数据，省人工标注

GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic ···

★ 1233 2026-09-12
ReadingBank 开源

给 OCR 文字排个正确阅读顺序，训练文档理解模型

ReadingBank: A Benchmark Dataset for Reading Order Detection

★ 119 2026-09-30
lightly-studio 开源

一站式搞定数据清洗、标注与版本管理，让模型训练更快更准。

LightlyStudio - The Unified Data Platform for Multimodal ML

★ 908 2026-08-09
nepali-datasets 开源

尼泊尔语AI数据一页找齐，省去全网翻找

A comprehensive, curated collection of Nepali datasets aggregated from community sou···

★ 109 2026-09-21
dataset-viewer 开源

不下载数据集，网页直接看样本和统计

Backend that powers the dataset viewer on Hugging Face dataset pages through a publi···

★ 908 2026-09-21
prontoqa 开源

用合成问答数据，精准剖析大模型推理链条

Synthetic question-answering dataset to formally analyze the chain-of-thought output···

★ 169 2026-08-09
rapiddweller-benerator-ce 开源

一键生成、脱敏、迁移测试数据，让开发测试更高效安全。

BENERATOR is a leading software solution to generate, obfuscate, pseudonymize and mi···

★ 161 2026-08-10