ml-mdm

用更少数据和算力,训出高质量文生图模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 37 🐛 待处理 30 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 516
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

ml-mdm 项目界面预览图
图片来源:项目官网

项目数据

分类模型训练
开发团队apple-aiml-research
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,diffusion-models,large-scale-vision-models,machine-learning,pytorch
GitHub 星标★ 516
上线时间2024-08-02 00:00:00
代码更新2026-09-11
仓库体积2.9 MB
本站数据更新2026-11-03
维护状态维护中
收录时间2026-09-17
浏览次数1

项目介绍

ml-mdm 是苹果开源的文本到图像扩散模型训练框架,目标是在数据和算力都受限的条件下,依然能训练出高质量的生成模型。它针对当前文生图模型训练动辄需要上亿图文对和大量 GPU 的痛点,提供了一套高效训练方案。核心能力包括:支持在较小规模数据集上稳定训练、优化训练流程以降低计算开销、兼容 PyTorch 生态,并可用于大规模视觉模型的研究与复现。项目定位偏向研究与工程实践,适合希望以较低成本探索扩散模型训练、做消融实验或微调自有数据的团队。代码结构清晰,便于二次开发,但作为早期项目,文档和社区生态仍在建设中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-17 · 当前星标 ★ 516

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.10+
  • 较大存储

安装与启动步骤

  1. 1建环境装包

    它以可编辑方式安装进当前环境。

    pip install -e .
  2. 2备数据集

    它自带抓取脚本,先把原始数据落到本地。

    python3 -m ml_mdm.clis.scrape_cc12m
  3. 3按索引下分片

    大文件分片下,别想一次拉全。

    python -m ml_mdm.clis.download_tar_from_index
  4. 4起训练

    配置驱动,先用小规模跑通管线。

  5. 5看采样质量

    扩散模型先看生成样本,指标其次。

如何确认成功

用小规模数据跑通若干训练步并生成样本图,样本结构正常、没有明显噪点或崩坏

注意事项

  • 它是大型实验室开源的高效文生图扩散模型训练包。
  • 数据侧给了抓取与分片下载脚本,存储容量要先算够。
  • 训练成本高,先小规模验证管线通不通。
  • 研究代码,接口随论文调整。

核心亮点

  • 在数据与算力受限场景下仍能训练出高质量文生图扩散模型,降低研究门槛
  • 基于 PyTorch 实现,便于与现有深度学习工具链集成和二次开发
  • 苹果开源,代码质量与工程规范有保障,适合做训练流程的消融实验

不足之处

  • 项目处于早期阶段,文档和示例相对有限,上手需要一定扩散模型基础
  • 社区规模较小,遇到问题可参考的讨论和第三方教程不多

适用场景

  • 学术研究:在有限 GPU 资源下复现和验证文生图扩散模型训练方法
  • 企业预研:用自有小规模图文数据微调或训练垂直领域生成模型
  • 教学实践:作为扩散模型训练流程的教学案例,帮助学生理解数据与算力效率权衡

替代项目

diffusers、stable-diffusion、open_clip

上一篇:jax-llm-examples

下一篇:kohya-colab

同类项目推荐

Rearchitecting-LLMs 开源

手把手教你剪枝、蒸馏、优化注意力,免费GPU跑通

Official code for the Manning book on structural LLM optimization: depth/width pruni···

★ 77 2026-08-09
LLM-RLHF-Tuning-with-PPO-and-DPO 开源

一站式跑通大模型 RLHF:SFT 到 PPO/DPO 全流程

Comprehensive toolkit for Reinforcement Learning from Human Feedback (RLHF) training···

★ 195 2026-09-16
Confucius-tool-learning 开源

让大模型通过自我反思学会用工具,从易到难逐步精通

Official Repo for AAAI 2024 paper "Confucius: Iterative Tool Learning from Introspec···

★ 152 2026-08-09
OpenRLHF 开源

基于 Ray 的强化学习框架,让大规模 RLHF 训练又快又稳

An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO···

★ 10138 2026-08-09
torchtitan 开源

用纯 PyTorch 原生组件,快速搭起可扩展的大模型预训练流程

A PyTorch native platform for training generative AI models

★ 5875 2026-10-12
SepLLM 开源

压缩冗余片段,让大模型推理快 2.5 倍

[ICML 2025] "SepLLM: Accelerate Large Language Models by Compressing One Segment int···

★ 572 2026-08-09
sd-lora-trainer 开源

拖入图片,一键训练专属 LoRA,快速定制 SD 模型风格

LoRa trainer for SDXL and SD15

★ 70 2026-08-09
FastVideo 开源

生成提速几十倍,再也不用干等出片

A unified inference and post-training framework for accelerated video generation.

★ 4778 2026-08-09