LlamaGen

用语言模型的方式生成图像,自回归也能打败扩散模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 94 🐛 待处理 73 👀 关注 22
GitHub ↗
GitHub 星标 ★ 1972
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

LlamaGen 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队FoundationVision
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型auto-regressive-model,diffusion,diffusion-models,image-generation,llama,llm,text2image
GitHub 星标★ 1972
上线时间2024-06-03 00:00:00
代码更新2024-08-15
仓库体积5.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

LlamaGen 是一个基于自回归模型的可扩展图像生成项目,其核心主张是自回归模型在图像生成任务上可以超越扩散模型。它借鉴了大型语言模型(LLM)的成功经验,将图像视为一种“视觉句子”,通过预测下一个“视觉token”来生成图像。项目解决了传统扩散模型在生成速度、可扩展性和灵活性上的局限,提供了一套完整的训练和推理框架。核心能力包括:支持从零训练自回归图像生成模型、提供预训练模型权重、支持文本到图像生成、以及类条件生成等。其技术栈基于Python,并利用了类似Llama的Transformer架构,使得模型能够高效地扩展至大规模参数。该项目为图像生成领域提供了一个新的、有竞争力的技术路线,尤其适合研究者和开发者探索自回归范式在视觉任务中的潜力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1972

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 20 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目为 Python 实现)
  • PyTorch >= 2.1.0(README 明确要求的版本)
  • Git(用于克隆仓库)
  • 可访问 GitHub,便于拉取源码与预训练权重

安装与启动步骤

  1. 1克隆代码仓库

    从 GitHub 拉取 LlamaGen 源码,仓库中包含预训练权重说明以及训练/采样的 PyTorch 代码。

    git clone https://github.com/FoundationVision/LlamaGen.git
  2. 2安装 PyTorch

    README 要求 torch>=2.1.0,请按 PyTorch 官方指引安装与本机显卡匹配的 CUDA 版本。

    pip install "torch>=2.1.0"
  3. 3查看安装文档

    README 没有直接列安装命令,安装、训练与评测步骤都在 GETTING_STARTED.md 里。

    cat GETTING_STARTED.md
  4. 4获取预训练权重

    仓库提供 100M 到 3B 参数的预训练模型,下载地址与放置路径请以 GETTING_STARTED.md 为准。

如何确认成功

README 未给出启动命令,请按 GETTING_STARTED.md 中的示例脚本运行,并确认脚本正常执行、无依赖报错。

常见问题

Q:对 PyTorch 版本有什么要求?

A:README 明确要求 torch>=2.1.0,低于该版本无法保证训练与采样代码正常运行。

Q:支持哪些规模的模型?

A:支持从 100M 到 3B 参数的各档模型,README 更新记录显示这些模型均已由 vLLM 支持。

Q:有文本生成图像的能力吗?

A:有。2024.06.28 已发布用于文本条件图像生成的 image tokenizer 和自回归模型。

Q:README 里找不到安装命令怎么办?

A:README 只给出了入口,实际的安装、训练和评测说明都在 GETTING_STARTED.md,请以该文档为准确操作。

注意事项

  • README 未直接给出安装命令,所有依赖与脚本细节需参考 GETTING_STARTED.md。
  • README 未说明硬件与显存要求,请结合 GETTING_STARTED.md 和实际实验规模自行准备环境。
  • 类条件生成与文本条件生成的模型是分批发行的,注意按需求选择对应模型。

核心亮点

  • 提出自回归模型在图像生成上可媲美甚至超越扩散模型,提供新的技术路线
  • 代码结构清晰,支持训练和推理,并提供了预训练模型权重,易于上手
  • 基于Llama架构,可借鉴LLM生态的优化经验,扩展性强

不足之处

  • 项目处于成长阶段,文档和社区生态尚待完善
  • 自回归生成速度可能慢于扩散模型,实时性应用受限

适用场景

  • 研究自回归图像生成算法,对比扩散模型性能
  • 需要可扩展的生成模型,用于大规模数据训练
  • 探索多模态生成,将图像生成与LLM结合

替代项目

VAR、DALL·E 2、Stable Diffusion

上一篇:Flux.1-Architecture-Diagram

下一篇:OmniTokenizer

同类项目推荐

eullm 开源

让大模型合规落地欧盟,垂直定制一步到位

Open-source platform for creating, distributing and running sovereign EU-compliant L···

★ 61 2026-08-09
Liquid 开源

用语言模型统一生成图像与文本,一步到位

(Accepted by IJCV) Liquid: Language Models are Scalable and Unified Multi-modal Gene···

★ 640 2026-08-09
CodeT5 开源

让 AI 读懂代码,自动生成、补全和翻译,提升开发效率

Home of CodeT5: Open Code LLMs for Code Understanding and Generation

★ 3084 2026-08-09
BitNet 开源

把大模型权重压到1-bit,省显存省算力

Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in ···

★ 1949 2026-09-15
Awesome-VLGFM 开源

一张清单看懂视觉语言地理模型全貌

A Survey on Vision-Language Geo-Foundation Models (VLGFMs)

★ 182 2026-08-09
Awesome-LLM4Graph-Papers 开源

一页览尽 LLM 与图数据交叉研究,快速定位关键论文

[KDD'2024] "LLM4Graph: A Survey of Large Language Models for Graphs"

★ 369 2026-08-09
XRec 开源

用大模型给推荐配理由,让推荐更透明可信

[EMNLP'2024] "XRec: Large Language Models for Explainable Recommendation"

★ 173 2026-08-09