metaflow

Netflix 同款流水线玩法,从实验到上线一路顺畅

开源 🏷️定价信息待确认 ✅ 目前可打开 基础设施 🍴 复刻 1392 🐛 待处理 522 👀 关注 288
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 10341
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

metaflow 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队Netflix
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agents,ai,aws,azure,cost-optimization,datascience,distributed-training,gcp,generative-ai,high-performance-computing,kubernetes,llm,llmops,machine-learning,ml,ml-infrastructure,ml-platform,mlops,model-management,python
GitHub 星标★ 10341
上线时间2019-09-17 00:00:00
代码更新2026-11-06
仓库体积47.8 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

Netflix 开源的 AI/ML 系统构建与管理框架,帮助开发者轻松编写、运行和部署机器学习流水线。它提供了简洁的 Python API,支持本地开发与云端规模化执行,并内置版本管理与数据追踪能力,让复杂 ML 系统的构建过程变得清晰可控。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10341

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • 本机已安装 Python 环境(Metaflow 为 Python 包)
  • 已安装 pip 或 conda 包管理器
  • 能访问 PyPI 或 conda-forge 源
  • 如需云端规模化,需额外配置云基础设施(AWS/GCP/Azure 等)

安装与启动步骤

  1. 1准备 Python 环境

    确认本地已有可用的 Python 环境,建议使用虚拟环境或 conda 环境,避免与其他项目依赖冲突。

  2. 2pip 安装 Metaflow

    在目标 Python 环境中执行安装命令,从 PyPI 拉取 Metaflow 及其依赖,等待安装完成。

    pip install metaflow
  3. 3或用 conda 安装

    若使用 conda 管理环境,可改用 conda-forge 渠道安装,两种方式选其一即可。

    conda install -c conda-forge metaflow
  4. 4运行第一个 flow

    安装完成后,按官方教程一步步创建并运行你的第一个 Metaflow flow,熟悉基本用法。

  5. 5云端规模化配置

    本地可先上手;要用远程计算集群或生产级工作流编排,需按官方指南配置云基础设施。

如何确认成功

在 Python 环境中导入 metaflow 无报错,并按官方 tutorial 成功创建并运行第一个 flow。

常见问题

Q:pip 安装后导入 metaflow 报错怎么办?

A:检查是否安装到了当前正在使用的 Python 环境,确认虚拟环境或 conda 环境已激活,必要时重新执行安装命令。

Q:能用 conda 安装吗?

A:可以,README 明确支持 conda-forge 渠道,执行 conda install -c conda-forge metaflow 即可。

Q:如何把 Metaflow 用到云端和生产环境?

A:README 指出需要按 Outerbounds 的基础设施配置指南部署,才能使用外部计算集群和生产级工作流编排器。

Q:遇到问题去哪里求助?

A:可查阅 Metaflow 官方文档,或加入官方 Slack 社区(http://slack.outerbounds.co/)提问。

注意事项

  • README 只给出了 pip 与 conda 两种安装命令,未提供具体 flow 示例代码,需配合官方 tutorial 文档使用。
  • 快速体验可直接使用 Metaflow sandbox(https://outerbounds.com/sandbox)。
  • 云端规模化属于进阶用法,需要额外配置基础设施,本地安装无法直接获得相关能力。

核心亮点

  • 由Netflix开源,提供从原型到生产的完整ML生命周期管理,支持AWS/Azure/GCP多云环境
  • 内置数据版本管理、并行计算和任务调度,适合大规模分布式训练场景
  • 与Kubernetes、Airflow等生态集成良好,支持生成式AI和Agent工作流

不足之处

  • 文档/社区待观察
  • 对非云环境(如纯本地)支持较弱,部署依赖云服务

适用场景

  • 企业级ML流水线开发与生产部署
  • 需要跨云平台统一管理ML实验和训练任务
  • 构建可复现的AI/ML系统并优化资源成本

替代项目

Kubeflow、MLflow、Airflow

上一篇:skypilot

下一篇:deeplake

同类项目推荐

popmon 开源

自动监控数据漂移,及时预警异常变化

Monitor the stability of a Pandas or Spark dataframe ⚙︎

★ 512 2026-08-09
csghub 开源

自建 Hugging Face,私有化掌控模型全生命周期

CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenC···

★ 4080 2026-08-09
krsh 开源

声明式配置,一键部署和管理 KubeFlow 环境

A declarative KubeFlow Management Tool

★ 129 2026-08-09
whitebox 开源

在K8s和边缘设备上,一站式监控你的ML模型健康

[Not Actively Maintained] Whitebox is an open source E2E ML monitoring platform with···

★ 179 2026-08-09
cortexdb 开源

给 AI 装上一个能长期记忆的知识图谱大脑

Local-first AI agent memory with a knowledge graph, ontology constraints, and tracea···

★ 476 2026-08-09
KVzip 开源

长文本推理显存直降4倍,延迟减半,即插即用

[NeurIPS'25 Oral] Query-agnostic KV cache eviction: 3–4× reduction in memory and 2···

★ 228 2026-08-09
SiliconScope 开源

免 sudo 看 ANE 和内存带宽,本地大模型跑得快不快一目了然

Sudoless Apple Silicon system monitor (native SwiftUI GUI) with ANE / Media Engine /···

★ 1018 2026-09-16
mlops-with-vertex-ai 开源

在 Google Cloud 上快速搭建完整 MLOps 流水线

An end-to-end example of MLOps on Google Cloud using TensorFlow, TFX, and Vertex AI

★ 424 2026-08-09
llmtrace 开源

零代码给 OpenAI API 加安全盾,实时防注入、扫隐私、控成本

Zero-code LLM security & observability proxy. Real-time prompt injection detection, ···

★ 54 2026-08-09