nannyml

模型上线后,用 nannyml 自动盯漂移和性能,提前报警

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 218 🐛 待处理 6 👀 关注 20
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2161
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

nannyml 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队NannyML
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型data-analysis,data-drift,data-science,deep-learning,jupyter-notebook,machine-learning,machinelearning,ml,mlops,model-monitoring,monitoring,performance-estimation,performance-monitoring,postdeploymentdatascience,python,visualization
GitHub 星标★ 2161
上线时间2022-01-26 00:00:00
代码更新2025-07-12
仓库体积132.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

nannyml 是一个用于机器学习模型部署后监控的 Python 库。它解决的是模型上线后性能下降、数据漂移等问题难以发现和定位的痛点。核心能力包括:检测特征和预测分布漂移(如 PSI、KS 检验等)、估计模型性能(如准确率、AUC 等)在无标签数据上的变化、提供可视化仪表盘和告警机制,帮助数据科学家快速识别模型退化的原因。它支持分类、回归等常见任务,并提供了与 pandas 和 scikit-learn 的良好集成,使得监控流程可以无缝嵌入现有工作流。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2161

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • 已安装 Python 环境(NannyML 是 Python 库,README 未指定具体版本)
  • 需要 LightGBM 依赖:NannyML 依赖 LightGBM,可能需要额外安装操作系统相关的二进制文件
  • 二选一的包管理器:pip(PyPI)或 conda(conda-forge)
  • 如需容器方式运行,需要已安装 Docker

安装与启动步骤

  1. 1准备 LightGBM 依赖

    NannyML 依赖 LightGBM,可能需要额外安装对应操作系统的二进制文件,请先按 LightGBM 官方安装指南处理。

  2. 2用 pip 安装 NannyML

    从 PyPI 安装正式发布版本,是最常用的安装方式,建议在虚拟环境中执行。

    pip install nannyml
  3. 3或用 Conda 安装

    如果你使用 conda 管理环境,可从 conda-forge 频道安装 NannyML。

    conda install -c conda-forge nannyml
  4. 4或用 Docker 运行

    使用官方镜像 nannyml/nannyml 运行 nml run,并把本地配置目录挂载到容器内的 /config/。

    docker run -v /local/config/dir/:/config/ nannyml/nannyml nml run
  5. 5安装开发版(可选)

    如需最新开发版本可从 GitHub 直接安装,README 提示开发版有风险,请谨慎使用。

    python -m pip install git+https://github.com/NannyML/nannyml
  6. 6验证导入

    在 Python 或 Jupyter 中导入库,无报错即说明安装成功,随后可参考官方文档继续使用。

    python -c "import nannyml as nml"

关键配置

配置项必填说明示例
/config/是Docker 运行时挂载到容器内的配置目录,本地目录需替换为真实路径/local/config/dir/

如何确认成功

在 Python 或 Jupyter 中执行 import nannyml as nml,没有报错即表示安装成功。

常见问题

Q:安装或导入时报 LightGBM 相关错误怎么办?

A:NannyML 依赖 LightGBM,可能需要额外安装操作系统相关的二进制文件,请按 LightGBM 官方安装指南(lightgbm.readthedocs.io 的 Installation Guide)安装对应依赖。

Q:用 pip 还是 conda 安装?

A:两种方式 README 均支持:pip install nannyml,或 conda install -c conda-forge nannyml,按你现有的环境管理方式选择即可。

Q:可以直接用 Docker 运行吗?

A:可以,官方镜像为 nannyml/nannyml,命令为 docker run -v /local/config/dir/:/config/ nannyml/nannyml nml run,注意把本地目录换成你的真实配置目录。

Q:想用最新开发版怎么装?

A:README 给出的方式是 python -m pip install git+https://github.com/NannyML/nannyml,但属于开发版本,官方提示使用风险自负。

注意事项

  • README 中的 Docker 命令原文写作 docker -v /local/config/dir/:/config/ run nannyml/nannyml nml run,参数顺序疑似笔误,本教程按可执行形式整理为 docker run -v ...。
  • 开发版安装命令会拉取最新代码,稳定性无保证,生产环境建议使用 PyPI 或 conda 的正式版本。
  • README 的 Quick Start 只展示了 import nannyml as nml 等导入语句,完整用法与可视化示例请查阅官方文档 https://nannyml.readthedocs.io/en/stable/。
  • NannyML 完全与模型无关,当前支持表格类场景的分类与回归任务,可与 pandas、scikit-learn 集成使用。

核心亮点

  • 覆盖漂移检测、性能估计、告警全流程,开箱即用
  • 提供直观的可视化图表,降低监控结果解读门槛
  • 支持多种漂移检测算法和统计检验,灵活可配置

不足之处

  • 文档和社区生态相对较小,示例不够丰富
  • 对大规模实时数据流的处理性能有待验证

适用场景

  • 金融风控模型上线后的实时性能监控
  • 推荐系统特征分布漂移的日常告警
  • 机器学习模型在无标注环境下的性能退化预警

替代项目

Evidently AI、WhyLabs、Alibi Detect

上一篇:ai-privacy-toolkit

下一篇:encord-active

同类项目推荐

axbench 开源

给LLM解释方法打分,选出真正有用的那个

Stanford NLP Python library for benchmarking the utility of LLM interpretability met···

★ 219 2026-08-09
rag-arena 开源

让用户投票,选出最好的 RAG 系统

Open-source RAG evaluation through users' feedback

★ 222 2026-08-09
Guardrails 开源

给大模型对话装上可编程的安全护栏,防止跑偏和有害输出。

NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails ···

★ 7457 2026-08-10
eval-assist 开源

用网页交互调教 LLM 当裁判,迭代出靠谱评估标准

EvalAssist is an open-source project that simplifies using large language models as ···

★ 103 2026-09-25
iFixAi 开源

120秒快速审计AI Agent,确保它按预期干活

Independent Auditing of AI Agents. Run by human or the agent itself, to answer the m···

★ 44242 2026-08-10
inseq 开源

一键透视生成模型,看透每个 token 的决策依据

Interpretability for sequence generation models

★ 477 2026-08-09
Doberman-Core 开源

运行时拦截 AI 的每个动作,防止危险操作执行

Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···

★ 243 2026-08-26
athina-sdk 开源

写测试、跑监控,让 LLM 应用在生产环境不翻车

LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···

★ 131 2026-08-09
awesome-ai-testing 开源

一页清单看懂 AI 测试工具,选型不再东拼西凑

A curated list of AI-powered testing tools, frameworks, and resources for QA enginee···

★ 179 2026-09-25