somali-nlp-corpus

索马里语开源文本语料,直接拿去训练和评测模型

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 数据集 🍴 复刻 8 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 109
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

somali-nlp-corpus 项目界面预览图
图片来源:项目官网

项目数据

分类数据集
开发团队somastllc
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
主要语言Rust
技术栈/模型corpus,dataset,language-resources,llm,low-resource-languages,nlp,rust,somali,somali-language,text-corpus
GitHub 星标★ 109
上线时间2026-06-10 00:00:00
代码更新2026-10-25
仓库体积1.4 MB
本站数据更新2026-10-28
维护状态活跃
收录时间2026-10-28
浏览次数1

项目介绍

somali-nlp-corpus 是一个面向索马里语的开源高质量文本语料库,目标是为自然语言处理研究、大语言模型训练与评测以及其他 AI 应用提供可复用的语言资源。索马里语属于低资源语言,公开可用的清洗后文本稀缺,该项目通过汇集、整理和规范化索马里语文本,填补这一空白。项目以 Rust 语言组织数据构建与处理流程,附带语料数据集本身,技术栈涵盖 corpus、dataset、language-resources、llm、low-resource-languages 等方向。核心能力包括:提供结构化、可直接用于模型训练或微调的文本数据;支持低资源语言的语料扩充与基准建设;便于研究者在此基础上开展分词、语言建模、翻译等实验。项目处于早期阶段,星标约 109,适合作为索马里语 NLP 的起点资源,而非成熟的生产级数据平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 109

技术标签

核心亮点

  • 聚焦索马里语这一低资源语言,填补公开语料空白
  • 提供可直接用于 LLM 训练与评测的结构化文本数据
  • 用 Rust 组织数据处理流程,便于复现和二次加工

不足之处

  • 项目早期,语料规模与覆盖领域尚未充分披露
  • 文档与社区活跃度有待观察,长期维护不确定

适用场景

  • 索马里语语言模型预训练或继续预训练的数据准备
  • 低资源语言 NLP 学术研究与基准评测
  • 机器翻译、分词、文本分类等任务的语料补充

替代项目

Masakhane、OSCAR、CC-100

上一篇:awesome-3d-diffusion

下一篇:没有了!

同类项目推荐

aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1653 2026-09-20
datumaro 开源

一个工具搞定 CV 数据集格式转换与质量检查

Dataset Management Framework, a Python library and a CLI tool to build, analyze and ···

★ 695 2026-08-10
labelme 开源

手动图像标注,快速生成训练数据集

Image annotation with Python. Supports polygon, rectangle, circle, line, point, and ···

★ 16246 2026-08-10
SDGym 开源

一键跑分,对比各种合成数据生成算法

Benchmarking synthetic data generation methods.

★ 312 2026-08-10
compliance-checker 开源

一键扫描数据集,快速发现合规风险

Python tool to check your datasets against compliance standards

★ 133 2026-09-21
paper-list 开源

自动追踪最新论文,省去手动搜索时间

autoupdate paper list

★ 165 2026-08-09
Awesome-Electrical-Grid-Mapping 开源

一站找齐全球电网地图与数据集,省去到处搜的麻烦

A curated dataset of global electrical grid maps, datasets and resources.

★ 167 2026-09-21
iam-dataset 开源

一份数据打通 AWS/Azure/GCP 的 IAM 权限,省去手工爬取

A consolidated series of structured data for cloud identity and access management sy···

★ 334 2026-09-21
image-ranker 开源

在浏览器里点一点,用 TrueSkill 给图片排序

Rank images using TrueSkill by comparing them against each other in the browser.

★ 93 2026-08-09