项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-11 · 当前星标 ★ 116
核心亮点
- 提供 YAML 配置驱动的过滤流水线，可灵活组合语言识别、长度比、重复度等多种过滤器
- 支持多进程并行处理，适合大规模平行语料的高效清洗
- 与 OPUS 语料生态集成，可直接下载和处理 OPUS 数据集
不足之处
- 项目星标数较低，社区规模和活跃度有限，长期维护存在不确定性
- 文档以英文为主，中文用户上手需要一定学习成本
适用场景
- 机器翻译模型训练前的平行语料清洗与质量筛选
- 从网络爬取的平行文本中去除语言不匹配、长度异常和重复句对
- 构建低资源语言平行语料时，用双语词典过滤器筛选可靠句对
替代项目
Bicleaner、SOTA-filter
同类项目推荐
somali-language-standard
开源
给索马里语定一套机器可读的版本化标准，让低资源 NLP 有据可依。
The open, machine-readable standard for the Somali language — orthography, grammar,···
LLMDataHub
开源
快速找到好用的指令微调数据集，加速LLM落地
A quick guide (especially) for trending instruction finetuning datasets
Project-Imaging-X
开源
一站式检索1000+医学影像数据集，快速开启基础模型训练
Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Founda···
RSIBench-Data
开源
一键生成代码评测数据并在沙箱里跑分
Synthetic data generation, post-training, and E2B benchmark evaluation infrastructur···
synergy-dataset
开源
用机器学习自动筛文献，系统综述省一半人力
SYNERGY - Open machine learning dataset on study selection in systematic reviews
datasette
开源
把 CSV/SQLite 变成可搜索网站和 API，零代码
An open source multi-tool for exploring and publishing data
GraphGen
开源
用知识图谱自动造微调数据，省人工标注
GraphGen: Enhancing Supervised Fine-Tuning for LLMs with Knowledge-Driven Synthetic ···
DataDesigner
开源
从零或种子数据一键生成高质量合成数据，加速 AI 训练
NeMo Data Designer: Generate high-quality synthetic data from scratch or from seed d···
datasetsforecast
开源
统一加载时间序列数据集，快速跑通预测实验
Datasets for time series forecasting