clip-gen

摆脱文本标注，用 CLIP 视觉特征直接训练文生图模型

CLIP-GEN 是一个基于 CLIP 的文本生成图像模型，核心创新在于无需语言标注训练。传统文本到图像模型依赖大量图文配对数据，而 CLIP-GEN 利用 CLIP 的跨模态对齐能力，将图像编码为视觉特征，再通过自回归生成模型从视觉特征重建图像，从而摆脱对文本标注的依赖。该项目解决了数据稀缺和标注成本高的问题，使得在较小规模数据集上也能训练文本到图像生成器。核心能力包括：CLIP 视觉特征提取、自回归图像生成、以及与 CLIP 文本编码器的无缝对接，实现文本条件生成。尽管项目早期（147 星），但提供了完整的训练和推理代码，适合研究者和开发者探索无语言标注的生成范式。

开源 free 图像生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 147

维护状态低维护

是否开源是

定价模式 free

项目数据

分类图像生成

开发团队HFAiLab

所属国家

官网地址

GitHubhttps://github.com/HFAiLab/clip-gen

定价模式free

价格说明开源项目，MIT许可证，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型clip,pytorch,text-to-image,text2image

GitHub 星标★ 147

30天Star增速

HF 下载量

上线时间2022-04-28 00:00:00

最近更新2026-05-29 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

创新性地去除语言标注依赖，降低数据门槛
基于 CLIP 的跨模态对齐，生成图像语义一致性较好
代码结构清晰，提供训练和推理示例，易于复现

不足之处

项目处于早期阶段，文档和社区支持有限
生成图像分辨率可能较低，需进一步优化

适用场景

低资源环境下的文本到图像生成研究
探索 CLIP 在生成任务中的新应用
作为无监督/自监督图像生成基线

替代项目

DALL-E、CogView、X-LXMERT

项目介绍

clip-gen 是图像领域的开源项目，由 HFAiLab 开发，2022 年首次发布。

它收录于图像分类，该分类目前共有 839 个项目，GitHub 星标数为 147。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-29。MIT许可证，完全免费，需自行部署使用。

它主要面向的使用场景是：低资源环境下的文本到图像生成研究。同类可对比的替代方案包括 DALL-E、CogView、X-LXMERT。

上一篇：Portable-Diffusion

下一篇：feed_forward_vqgan_clip