DataMate

一站式搞定大模型微调与RAG的数据处理,让数据准备不再拖后腿

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 48 🐛 待处理 16 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 374
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署。

项目预览

DataMate 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队ModelEngine-Group
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型data-evaluation,data-pipeline,data-synthesis,rag
GitHub 星标★ 374
上线时间2025-08-11 00:00:00
代码更新2026-11-03
仓库体积16.0 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

DataMate 是一个面向企业级数据处理的开源平台,专注于大模型微调和 RAG(检索增强生成)场景。它解决了企业在准备高质量训练数据时面临的效率低下、流程分散和缺乏协作的问题。DataMate 提供了一套完整的数据处理流水线,包括数据导入、清洗、标注、版本管理和导出等功能,支持从原始数据到最终可用于模型训练或检索的格式化数据集的全流程管理。其核心能力包括灵活的标注工具、自动化的数据清洗规则、与主流模型训练框架的集成,以及团队协作和权限管理功能。通过可视化的操作界面和 API 接口,DataMate 旨在降低数据工程的门槛,帮助团队更高效地构建和维护高质量的领域数据集,从而提升模型微调的效果和 RAG 系统的检索准确性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 374

技术标签

核心亮点

  • 专为微调和RAG场景设计,数据流水线功能针对性强,避免通用工具的冗余
  • 提供可视化标注和清洗界面,降低非技术人员的参与门槛
  • 支持团队协作与权限管理,适合企业级多角色协同工作

不足之处

  • 项目早期,文档和社区生态尚待完善,上手可能需要摸索
  • 功能范围聚焦数据处理,不包含模型训练和评估环节,需搭配其他工具

适用场景

  • 企业构建领域专属大模型,需要整理清洗大量业务文档
  • 团队为RAG系统准备高质量知识库,需对文档进行切分、标注和版本管理
  • 数据标注外包或内部协作,需要统一管理标注任务和质量控制

替代项目

Label Studio、Doccano、Argilla

上一篇:AnglE

下一篇:Graph-CoT

同类项目推荐

ZO-LLM 开源

用零阶优化在低显存下微调大模型,省内存不省效果

[ICML‘24] Official code for the paper "Revisiting Zeroth-Order Optimization for Mem···

★ 131 2026-08-09
neptune-client 开源

一键记录训练实验,自动追踪指标与模型,团队协作更高效

The experiment tracker for foundation model training

★ 622 2026-08-09
pytorch-generative 开源

一键复现经典生成模型,快速上手图像生成实验

Easy generative modeling in PyTorch

★ 439 2026-08-09
Sklearn-genetic-opt 开源

用遗传算法自动调参,告别网格搜索的低效

Hyperparameter optimization and feature selection for scikit-learn using evolutionar···

★ 391 2026-08-09
gigaevo-core 开源

让大模型当变异器,自动迭代把程序改到更好

Evolutionary algorithm that uses Large Language Models (LLMs) to automatically impro···

★ 127 2026-09-15
RewardModelingBeyondBradleyTerry 开源

用新理论替代Bradley-Terry,让奖励建模更准

official implementation of ICLR'2025 paper: Rethinking Bradley-Terry Models in Prefe···

★ 74 2026-08-09
catalyst 开源

让深度学习实验跑得更快、更规范,专注模型创新

Accelerated deep learning R&D

★ 3388 2026-08-10
evo-memory 开源

给Transformer装上可扩展的神经记忆,突破上下文长度限制

Code to train and evaluate Neural Attention Memory Models to obtain universally-appl···

★ 361 2026-08-09
ml-mdm 开源

用更少数据和算力,训出高质量文生图模型

Train high-quality text-to-image diffusion models in a data & compute efficient mann···

★ 516 2026-09-17