data-quality
本站收录 24 个带「data-quality」标签的 AI 开源项目
Made-With-ML一套面向生产级机器学习应用的完整学习课程，手把手教你如何开发、部署并持续迭代 ML 应用。内容覆盖从实验到上线的全流程实践，配有代码示例，适合希望系统掌握工程化★ 49,652
great_expectationsGreat Expectations 是一个开源的数据质量工具，帮助数据团队定义、验证和文档化数据的期望。它解决了数据管道中数据质量不可控的问题，通过声明式的期★ 11,851
fiftyoneFiftyOne 是一个面向计算机视觉团队的开源数据集管理与模型评估工具，由 Voxel51 开发。它解决了视觉 AI 开发中数据质量差、模型错误难以定位、数据★ 11,130
evidentlyEvidently 是一个开源的机器学习和大型语言模型可观测性框架，用于评估、测试和监控任何 AI 驱动的系统或数据管道，覆盖从表格数据到生成式 AI 的广泛场★ 7,949
feastFeast 是一个开源的 Feature Store（特征仓库），专为 AI/ML 场景设计，旨在解决机器学习模型开发与部署中特征管理混乱、训练与在线推理特征不★ 7,314
mlops-course这是一个面向生产级机器学习应用的教学课程仓库，旨在帮助开发者掌握从设计、开发、部署到迭代的完整MLOps流程。课程内容涵盖数据版本管理、模型实验追踪、CI/CD★ 3,405
whylogswhylogs 是一个开源的数据日志库，专为机器学习模型和数据管道设计。它通过轻量级的日志记录，持续收集数据分布、统计特征和模型性能指标，帮助团队实时监控数据质★ 2,833
featureformFeatureform 是一个虚拟特征存储（Virtual Feature Store）系统，它不重新搭建存储，而是将你已有的数据基础设施（如 Postgres★ 1,991
feathrFeathr 是一个面向企业的可扩展、统一的数据与 AI 工程平台，主要用于特征工程的全生命周期管理。它解决了机器学习中特征定义、计算、存储和在线/离线一致性难★ 1,943
CuratorCurator 是一个面向大型语言模型（LLM）的可扩展数据预处理与清洗工具包。它旨在解决 LLM 训练和微调中数据质量参差不齐、处理流程繁琐低效的问题。Cur★ 1,788
cleanvisionCleanVision 是一个用于图像数据集质量检测的开源 Python 库，旨在自动发现图像数据中的各类问题，帮助数据科学家和机器学习工程师实践以数据为中心的★ 1,207
dingoDingo 是一个面向 AI 数据、模型与应用的质量评测工具，用 Python 编写。它要解决的问题是：大模型项目里数据质量参差不齐、模型输出难以量化评估，团队★ 757
tracemltraceml 是 Polyaxon 生态下的 AI/ML 数据追踪与可视化引擎，专注于解决机器学习实验中的指标跟踪、数据漂移检测和模型可解释性问题。它提供了一★ 534
encord-activeencord-active 是一个用于模型测试、验证与评估的开源工具包，旨在帮助机器学习团队高效管理数据标注流程。它解决的核心问题是：在模型开发中，如何从海量未★ 460
mega-data-factorymega-data-factory 是一个面向大规模基础模型训练的多模态数据流水线框架，专注于解决数据质量与数据规模之间的平衡问题。它提供了一套从数据采集、清洗★ 379
awesome-data-centric-ai这是一个关于数据为中心AI（Data-Centric AI）的精选资源列表，汇集了开源软件、教程和研究论文。它旨在解决AI开发中数据质量、标注、增强等问题，强调★ 357
feathubFeatHub 是一个面向实时机器学习的流批统一特征存储系统，旨在解决特征工程中训练与推理不一致、特征复用困难、实时与离线特征割裂等问题。它提供统一的 API ★ 352
hflowhflow 是面向机器人团队的 Python SDK，用于在训练 AI 模型前验证数据质量。机器人训练数据常来自多传感器采集（摄像头、激光雷达、IMU、关节状态★ 283
whylogs-javawhylogs-java 是 whylogs 的 Java 实现，用于对机器学习数据管道进行端到端的画像（profiling）和监控。它解决的是 ML 数据质量★ 177
weightslabweightslab 是一个面向 AI 工程师的数据处理基础设施，专注于处理真实世界中杂乱的数据，包括图像、视频和 LiDAR 点云。它解决了 AI 项目在数据★ 168
ml_observability_course这是一个免费开源的机器学习可观测性课程，专为数据科学家和机器学习工程师设计。它旨在解决机器学习模型在生产环境中部署后难以监控和调试的问题。课程内容涵盖模型性能监★ 106
awesome-ml-monitoring这是一个精选列表，汇总了用于监控数据质量、监控模型性能和分析数据的开源工具及商业产品。它解决了机器学习模型上线后缺乏有效监控手段的问题，帮助团队及时发现数据漂移★ 96
public-data-lenspublic-data-lens 是一个基于 MCP（模型上下文协议）的数据发现与判断层，专门面向韩国开放数据门户。它帮助 AI 代理高效地查找、比较和评估数据★ 86
great_expectations_action这是一个GitHub Action，旨在简化在CI工作流中使用Great Expectations验证数据管道的过程。它解决了数据工程团队在持续集成中难以自动执★ 85