clip-gen

摆脱文本标注,用 CLIP 视觉特征直接训练文生图模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 16 🐛 待处理 3 👀 关注 8
GitHub ↗
GitHub 星标 ★ 148
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

clip-gen 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队HFAiLab
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型clip,pytorch,text-to-image,text2image
GitHub 星标★ 148
上线时间2022-04-28 00:00:00
代码更新2022-06-10
仓库体积53.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

CLIP-GEN 是一个基于 CLIP 的文本生成图像模型,核心创新在于无需语言标注训练。传统文本到图像模型依赖大量图文配对数据,而 CLIP-GEN 利用 CLIP 的跨模态对齐能力,将图像编码为视觉特征,再通过自回归生成模型从视觉特征重建图像,从而摆脱对文本标注的依赖。该项目解决了数据稀缺和标注成本高的问题,使得在较小规模数据集上也能训练文本到图像生成器。核心能力包括:CLIP 视觉特征提取、自回归图像生成、以及与 CLIP 文本编码器的无缝对接,实现文本条件生成。尽管项目早期(147 星),但提供了完整的训练和推理代码,适合研究者和开发者探索无语言标注的生成范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 148

核心亮点

  • 创新性地去除语言标注依赖,降低数据门槛
  • 基于 CLIP 的跨模态对齐,生成图像语义一致性较好
  • 代码结构清晰,提供训练和推理示例,易于复现

不足之处

  • 项目处于早期阶段,文档和社区支持有限
  • 生成图像分辨率可能较低,需进一步优化

适用场景

  • 低资源环境下的文本到图像生成研究
  • 探索 CLIP 在生成任务中的新应用
  • 作为无监督/自监督图像生成基线

替代项目

DALL-E、CogView、X-LXMERT

同类项目推荐

open-muse 开源

快速文本生图,复现 MUSE 并行解码,速度与质量兼得。

Open reproduction of MUSE for fast text2image generation.

★ 362 2026-08-09
Radiata 开源

基于 diffusers 的现代 Stable Diffusion 界面,支持 TensorRT 加速

Stable diffusion webui based on diffusers.

★ 958 2026-08-09
studio 开源

一键生成古怪艺术,灵感随手即得!

A suite of random, mostly weird, generative art tools!

★ 166 2026-08-09
oil-visual 开源

给 Codex 配上漫画墨绘画笔,让技术解释一目了然

制作统一漫画墨线风格的解释图与透明角色插图,用于概念、流程、比较和文章配图。

★ 106 2026-08-09
ComfyUI-Easy-Use 开源

少连线少配参,ComfyUI 新手也能快速出图

In order to make it easier to use the ComfyUI, I have made some optimizations and in···

★ 2814 2026-10-16
MochiDiffusion 开源

在 Mac 上原生流畅运行 Stable Diffusion,离线免费生成图像

Run Stable Diffusion on Mac natively

★ 7977 2026-08-09
the-og 开源

用纯 PHP 快速生成社交分享预览图,自托管零依赖

A pure PHP OpenGraph Image Generator

★ 310 2026-08-09
Disco_Diffusion_Local 开源

把 Disco Diffusion 搬到你电脑上,摆脱 Colab 限制

Getting the latest versions of Disco Diffusion to work locally, instead of colab. In···

★ 316 2026-08-09