DALLE-mtf

用大规模并行训练复现 DALL·E,从文本生成图像

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 45 🐛 待处理 5 👀 关注 27
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 429
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自由使用和部署,无付费版本。

项目预览

DALLE-mtf 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队EleutherAI
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,autoregressive,multimodal,text-to-image,transformers,variational-autoencoder
GitHub 星标★ 429
上线时间2021-01-09 00:00:00
代码更新2022-02-12
仓库体积279 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

DALLE-mtf 是 OpenAI 官方发布的 DALL·E 模型在 mesh-tensorflow 框架下的实现,用于大规模训练文本生成图像模型。它解决了原始 DALL·E 代码未开源、研究者难以复现和扩展的问题,提供了完整的训练流程,包括离散变分自编码器(dVAE)和自回归 Transformer 的联合训练。核心能力包括:支持超大规模并行训练(通过 mesh-tensorflow 实现模型并行和数据并行)、处理文本与图像的多模态数据、生成符合文本描述的图像。项目包含数据预处理、训练脚本和模型配置,适合有分布式训练资源的研究团队进行二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 429

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 50 分钟 部署方式:本地GPU 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • TPU 或旧版 TensorFlow 环境
  • Python 3.7

安装与启动步骤

  1. 1先确认时代背景

    它是 Mesh-TensorFlow 时代的实现,框架本身已停止维护。

  2. 2拉依赖仓库

    它复用同一作者的 GPT-Neo 代码库作为底座。

    git clone https://github.com/EleutherAI/GPTNeo
  3. 3装依赖

    依赖锁定旧版 TensorFlow,新环境基本装不上。

    pip3 install -r requirements.txt
  4. 4跑一个训练脚本

    原脚本面向 TPU,换 GPU 要改分布式配置。

如何确认成功

能在单机单卡上跑通一个极小的训练步而不是直接报版本不兼容

注意事项

  • 状态说明:项目停留在 Mesh-TensorFlow 时代,该框架已被官方弃用,本仓库仅具研究参考价值,不建议投入工程。
  • 要读的是它的模型并行切分思路,不是它的代码可用性。
  • 依赖 TensorFlow 1.x 与旧版 TPU 工具链,现代环境复现成本极高。
  • 想学同类模型的现代实现,去看当前主流的训练框架。
  • 训练数据不随仓库分发。

核心亮点

  • 官方实现,模型架构与论文一致,可信度高
  • 基于 mesh-tensorflow,支持超大规模分布式训练
  • 包含 dVAE 和 Transformer 完整训练流程,开箱即用(需配置)

不足之处

  • 依赖 TPU 和 mesh-tensorflow,普通 GPU 环境难以运行
  • 文档较少,配置复杂,上手门槛高

适用场景

  • 研究 DALL·E 原理并复现论文结果
  • 在大规模集群上训练文本生成图像模型
  • 基于官方代码进行二次开发,改进模型结构

替代项目

DALL-E (OpenAI 官方后续版本)、CogView (清华开源文本生成图像模型)、DALL-E Mini (轻量级复现)

上一篇:awesome-aiart-pics-prompts

下一篇:Auto1111SDK

同类项目推荐

MooshieUI 开源

不懂节点也能玩转 ComfyUI,轻松生成 AI 图像

A front-end UI for ComfyUI made for beginner level users.

★ 222 2026-08-09
Text2Earth 开源

输入文字,秒出遥感图像,赋能地理空间智能

[IEEE GRSM 2025 ] "Text2Earth: Unlocking Text-driven Remote Sensing Image Generation···

★ 192 2026-08-09
ComfyBox 开源

让 ComfyUI 告别节点,小白也能轻松玩转 AI 绘画

Customizable Stable Diffusion frontend for ComfyUI

★ 688 2026-08-09
comfyui-comfysketch 开源

在 ComfyUI 里直接画草图,无缝接入 SD 工作流

ComfySketch — Sketching Node for ComfyUI

★ 125 2026-08-09
RCDMs 开源

让AI画故事连环画,上下文连贯不跳戏

[AAAI 2025] RCDMs: Boosting Consistency in Story Visualization with Rich-Contextual ···

★ 62 2026-08-09
comfyui-on-amazon-sagemaker 开源

把 ComfyUI 一键部署到 AWS,用 SD/FLUX 出图

This project demonstrates how to generate images using Stable Diffusion or FLUX.1 mo···

★ 66 2026-08-09
clarity-upscaler 开源

糊图一键变高清,免费开源随便用

Clarity AI | AI Image Upscaler & Enhancer - free and open-source Magnific Alternativ···

★ 5173 2026-08-09
ComfyUI-TBG-ETUR 开源

把图放大到2亿像素,还能逐块控制细节和创意

TBG Enhanced Tiled Upscaler and Refiner upscales up to 200MP with precise control. I···

★ 160 2026-08-09