caption-upsampling

用大模型把一句话扩写成详细提示词,让SDXL出图更精准

caption-upsampling 是一个基于 PyTorch 和 diffusers 的开源项目,旨在复现 DALL-E 3 中的“标题上采样”(caption upsampling)技术。该技术通过使用 Zephyr-7B 语言模型将简短、粗糙的图像描述扩展为详细、丰富的提示词,从而提升文本到图像生成模型(如 SDXL)的输出质量。项目解决了用户输入简单提示词时生成图像细节不足、语义不精准的问题,核心能力包括:利用大语言模型进行提示词增强、与 SDXL 的集成、以及提供完整的推理和评估流程。它适合研究人员和开发者探索如何通过高质量的文本描述来优化扩散模型的生成效果。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 157
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队sayakpaul
所属国家
官网地址
定价模式free
价格说明开源项目,基于Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusers,image-generation,pytorch,sdxl
GitHub 星标★ 157
30天Star增速
HF 下载量
上线时间2023-10-21 00:00:00
最近更新2026-08-08 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 直接复现DALL-E 3的标题上采样思路,有明确技术参考
  • 基于Zephyr-7B和SDXL,模型组合新颖,效果有保障
  • 代码结构清晰,便于二次开发和集成到现有pipeline

不足之处

  • 依赖Zephyr-7B,推理资源需求较高,不适合轻量部署
  • 文档/社区待观察

适用场景

  • 提升文本到图像生成的质量,当用户输入简短描述时
  • 研究提示词工程对扩散模型的影响
  • 构建自动化图像生成工作流,需要从简单关键词生成详细描述

替代项目

BLIP-2 captioning、Promptist、DeepFloyd IF

项目介绍

caption-upsampling 是开源模型领域的开源项目,由 sayakpaul 开发,2023 年首次发布。

它收录于开源模型分类,该分类目前共有 424 个项目,GitHub 星标数为 157。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-08。基于Apache-2.0许可证,可自由使用和部署,无付费版本。

它主要面向的使用场景是:提升文本到图像生成的质量,当用户输入简短描述时。同类可对比的替代方案包括 BLIP-2 captioning、Promptist、DeepFloyd IF。

上一篇:OmniTokenizer

下一篇:MNISTDiffusion

同类项目推荐

Machine-Learning 开源

跟着博客笔记,边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
awesome-ltx2 开源

找齐 LTX-2 模型、工作流和 LoRA,一键上手视频生成。

All available LTX-2 models, encoders, workflows, LoRAs for ComfyUI

★ 593 2026-08-10