
LlamaGen
用语言模型的方式生成图像,自回归也能打败扩散模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1972
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(项目为 Python 实现)
- PyTorch >= 2.1.0(README 明确要求的版本)
- Git(用于克隆仓库)
- 可访问 GitHub,便于拉取源码与预训练权重
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 LlamaGen 源码,仓库中包含预训练权重说明以及训练/采样的 PyTorch 代码。
git clone https://github.com/FoundationVision/LlamaGen.git -
2安装 PyTorch
README 要求 torch>=2.1.0,请按 PyTorch 官方指引安装与本机显卡匹配的 CUDA 版本。
pip install "torch>=2.1.0" -
3查看安装文档
README 没有直接列安装命令,安装、训练与评测步骤都在 GETTING_STARTED.md 里。
cat GETTING_STARTED.md -
4获取预训练权重
仓库提供 100M 到 3B 参数的预训练模型,下载地址与放置路径请以 GETTING_STARTED.md 为准。
如何确认成功
README 未给出启动命令,请按 GETTING_STARTED.md 中的示例脚本运行,并确认脚本正常执行、无依赖报错。
常见问题
Q:对 PyTorch 版本有什么要求?
A:README 明确要求 torch>=2.1.0,低于该版本无法保证训练与采样代码正常运行。
Q:支持哪些规模的模型?
A:支持从 100M 到 3B 参数的各档模型,README 更新记录显示这些模型均已由 vLLM 支持。
Q:有文本生成图像的能力吗?
A:有。2024.06.28 已发布用于文本条件图像生成的 image tokenizer 和自回归模型。
Q:README 里找不到安装命令怎么办?
A:README 只给出了入口,实际的安装、训练和评测说明都在 GETTING_STARTED.md,请以该文档为准确操作。
注意事项
- README 未直接给出安装命令,所有依赖与脚本细节需参考 GETTING_STARTED.md。
- README 未说明硬件与显存要求,请结合 GETTING_STARTED.md 和实际实验规模自行准备环境。
- 类条件生成与文本条件生成的模型是分批发行的,注意按需求选择对应模型。
核心亮点
- 提出自回归模型在图像生成上可媲美甚至超越扩散模型,提供新的技术路线
- 代码结构清晰,支持训练和推理,并提供了预训练模型权重,易于上手
- 基于Llama架构,可借鉴LLM生态的优化经验,扩展性强
不足之处
- 项目处于成长阶段,文档和社区生态尚待完善
- 自回归生成速度可能慢于扩散模型,实时性应用受限
适用场景
- 研究自回归图像生成算法,对比扩散模型性能
- 需要可扩展的生成模型,用于大规模数据训练
- 探索多模态生成,将图像生成与LLM结合
替代项目
VAR、DALL·E 2、Stable Diffusion
同类项目推荐
eullm
开源
让大模型合规落地欧盟,垂直定制一步到位
Open-source platform for creating, distributing and running sovereign EU-compliant L···
Liquid
开源
用语言模型统一生成图像与文本,一步到位
(Accepted by IJCV) Liquid: Language Models are Scalable and Unified Multi-modal Gene···
Awesome-LLM-Papers-Comprehensive···
开源
一站式找全LLM论文与代码,省去全网搜刮时间
Awesome LLM Papers and repos on very comprehensive topics.
CodeT5
开源
让 AI 读懂代码,自动生成、补全和翻译,提升开发效率
Home of CodeT5: Open Code LLMs for Code Understanding and Generation
BitNet
开源
把大模型权重压到1-bit,省显存省算力
Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in ···
Awesome-VLGFM
开源
一张清单看懂视觉语言地理模型全貌
A Survey on Vision-Language Geo-Foundation Models (VLGFMs)
Awesome-LLM4Graph-Papers
开源
一页览尽 LLM 与图数据交叉研究,快速定位关键论文
[KDD'2024] "LLM4Graph: A Survey of Large Language Models for Graphs"
awesome-llm-role-playing-with-pe···
开源
一站式收藏LLM角色扮演资源,快速上手人设对话开发
Awesome-llm-role-playing-with-persona: a curated list of resources for large languag···
XRec
开源
用大模型给推荐配理由,让推荐更透明可信
[EMNLP'2024] "XRec: Large Language Models for Explainable Recommendation"