deepchecks

给 ML 模型和数据做全面体检,从研究到生产持续验证

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 302 🐛 待处理 271 👀 关注 24
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 4069
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,全部功能免费。

项目预览

deepchecks 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队deepchecks
定价模式🏷️完全免费
价格说明开源项目,本地部署,全部功能免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型data-drift,data-science,data-validation,deep-learning,html-report,jupyter-notebook,machine-learning,ml,mlops,model-monitoring,model-validation,pandas-dataframe,python,pytorch
GitHub 星标★ 4069
上线时间2021-10-11 00:00:00
代码更新2025-12-28
仓库体积274.5 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Deepchecks 是一个面向机器学习模型与数据的持续验证开源测试框架,覆盖从研究到生产的全流程。它解决的是 ML 生命周期中数据质量、模型性能、漂移和偏见等验证难题,提供自动化测试套件,支持数据完整性、标签泄漏、数据漂移、模型性能对比、偏见检测等检查。核心能力包括声明式测试 API、与现有 CI/CD 集成、可视化报告,以及针对表格、CV、NLP 等不同数据类型的支持。通过将验证逻辑标准化,帮助团队在模型上线前和上线后持续监控质量,减少生产事故。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4069

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • Python 环境(需可执行 pip)
  • pip 包管理器
  • 如需 NLP / 计算机视觉子模块,需安装 deepchecks[nlp] 或 deepchecks[vision]
  • 本地监控实例需要 Linux / macOS 与 Docker(Windows 暂不支持)

安装与启动步骤

  1. 1安装 Deepchecks 测试库

    README 给出的标准安装方式,-U 升级到最新版,--user 安装到当前用户目录避免权限问题。

    pip install deepchecks -U --user
  2. 2按需安装扩展模块

    处理 NLP 或计算机视觉数据时,用方括号扩展名替换 deepchecks;NLP 还可额外装 nlp-properties。

    pip install "deepchecks[nlp]" -U --user
    pip install "deepchecks[vision]" -U --user
  3. 3用 conda 安装(可选)

    如果使用 conda 环境,可改用 conda-forge 渠道安装,效果等价。

    conda install -c conda-forge deepchecks
  4. 4运行测试套件示例

    用 tabular suite 跑一次验证:先准备好 train_dataset、test_dataset 和 model 对象,再执行并导出 HTML 报告。

    from deepchecks.tabular.suites import model_evaluation
    suite = model_evaluation()
    suite_result = suite.run(train_dataset=train_dataset, test_dataset=test_dataset, model=model)
    suite_result.save_as_html()
  5. 5部署本地监控实例

    在新建目录中打开终端执行,自动下载依赖、安装并本地启动监控应用,耗时几分钟。

    pip install deepchecks-installer
    deepchecks-installer install-monitoring
  6. 6打开监控页面

    安装完成后打开默认部署地址 http://localhost 并进行系统引导;开源版每个部署只能监控单个模型。

如何确认成功

Python 库可正常 import 并运行 suite 生成 HTML 报告;监控实例启动后访问 http://localhost 能打开引导页面。

常见问题

Q:安装 Deepchecks 需要什么前置条件?

A:只需可用的 Python 与 pip 环境;安装命令为 pip install deepchecks -U --user,或用 conda-forge 渠道安装。

Q:如何处理 NLP 或图像数据?

A:把包名 deepchecks 换成 "deepchecks[nlp]" 或 "deepchecks[vision]" 安装;NLP 场景还可选装 deepchecks[nlp-properties]。

Q:如何查看套件运行结果?

A:默认用 suite_result.save_as_html() 导出报告,也可替换为 suite_result.show() 或 suite_result.show_in_window() 在线或窗口查看。

Q:本地监控实例怎么装?

A:新建目录并在其中执行 pip install deepchecks-installer 和 deepchecks-installer install-monitoring,几分钟后访问 http://localhost。

Q:Windows 能部署本地监控吗?

A:README 明确说明本地监控一键部署目前只支持 Linux / macOS,Windows 仍在开发中,可改用 SaaS 服务。

注意事项

  • Deepchecks 采用 AGPL v3 许可证发布,商用前请确认合规要求。
  • 开源版监控部署每个实例只支持监控一个模型,多模型需部署多实例或使用 SaaS。
  • NLP 与 Vision 属于可选子模块,不安装对应扩展时仅能使用表格(tabular)相关功能。
  • 项目分为测试/CI 与生产监控两条产品线,安装命令不同,请按需求选择。

核心亮点

  • 提供 50+ 种开箱即用的检查项,覆盖数据漂移、标签泄漏、模型性能等关键风险
  • 支持表格、CV、NLP 多数据类型,适配不同业务场景
  • 可无缝集成到 pytest 和 CI/CD 流程,自动化验证门槛低

不足之处

  • 文档偏工程化,新手入门需一定 ML 基础
  • 部分高级功能(如自定义检查)学习曲线较陡

适用场景

  • 模型上线前做数据与模型质量门禁检查
  • 生产环境定期监控数据漂移和模型性能衰减
  • 数据科学团队建立标准化验证流程,提升协作效率

替代项目

Great Expectations、Evidently AI、TFX (TensorFlow Extended)

同类项目推荐

CUREBench 开源

给AI看病决策打分,推动医疗AI更靠谱

CUREBench @ NeurIPS 2025: Benchmarking AI reasoning for therapeutic decision-making ···

★ 136 2026-08-09
hanshuang-codex 开源

桌面端批量测大模型越狱提示,一键跑实验看边界

针对GPT 6.0,workbuddyV4.1flash的破甲实验项目

★ 781 2026-09-28
watchtower 开源

扫描AI模型漏洞,守护AI供应链安全

AIShield Watchtower: Dive Deep into AI's Secrets! Open-source tool by AIShield for ···

★ 201 2026-08-09
vigil-llm 开源

给LLM输入装个安检门,拦截提示注入和越狱攻击

⚡ Vigil ⚡ Detect prompt injections, jailbreaks, and other potentially risky Large···

★ 509 2026-08-09
confabulations 开源

测出RAG系统胡说八道,用人工验证问答对量化幻觉

Hallucinations (Confabulations) Document-Based Benchmark for RAG. Includes human-ver···

★ 251 2026-08-09
inspect_evals 开源

一行命令跑齐大模型能力与安全评测

Collection of evals for Inspect AI

★ 734 2026-09-14
athina-evals 开源

给 LLM 响应做质检,快速发现模型输出问题

Python SDK for running evaluations on LLM generated responses

★ 302 2026-08-09
auto_eval 开源

让机器人策略评估全自动,省时省力又客观

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Rea···

★ 108 2026-08-09
anonymeter 开源

合成数据上线前,用 GDPR 视角量化隐私泄露风险

A Unified Framework for Quantifying Privacy Risk in Synthetic Data according to the ···

★ 110 2026-08-10