caption-upsampling

用大模型把一句话扩写成详细提示词，让SDXL出图更精准

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 图像生成 🍴 复刻 4 👀 关注 2
GitHub ↗
GitHub 星标 ★ 157
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，基于Apache-2.0许可证，可自由使用和部署，无付费版本。

项目预览

caption-upsampling 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类图像生成
开发团队sayakpaul
GitHubhttps://github.com/sayakpaul/caption-upsampling
定价模式🏷️完全免费
价格说明开源项目，基于Apache-2.0许可证，可自由使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusers,image-generation,pytorch,sdxl
GitHub 星标★ 157
上线时间2023-10-21 00:00:00
代码更新2023-10-25
仓库体积47 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

caption-upsampling 是一个基于 PyTorch 和 diffusers 的开源项目，旨在复现 DALL-E 3 中的“标题上采样”（caption upsampling）技术。该技术通过使用 Zephyr-7B 语言模型将简短、粗糙的图像描述扩展为详细、丰富的提示词，从而提升文本到图像生成模型（如 SDXL）的输出质量。项目解决了用户输入简单提示词时生成图像细节不足、语义不精准的问题，核心能力包括：利用大语言模型进行提示词增强、与 SDXL 的集成、以及提供完整的推理和评估流程。它适合研究人员和开发者探索如何通过高质量的文本描述来优化扩散模型的生成效果。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 157

核心亮点

  • 直接复现DALL-E 3的标题上采样思路，有明确技术参考
  • 基于Zephyr-7B和SDXL，模型组合新颖，效果有保障
  • 代码结构清晰，便于二次开发和集成到现有pipeline

不足之处

  • 依赖Zephyr-7B，推理资源需求较高，不适合轻量部署
  • 文档/社区待观察

适用场景

  • 提升文本到图像生成的质量，当用户输入简短描述时
  • 研究提示词工程对扩散模型的影响
  • 构建自动化图像生成工作流，需要从简单关键词生成详细描述

替代项目

BLIP-2 captioning、Promptist、DeepFloyd IF

上一篇：OmniTokenizer

下一篇：MNISTDiffusion

同类项目推荐

reconstruction-alignment 开源

用重建对齐让多模态模型零样本能力大爆发

[ICLR 2026] RecA: visual understanding help generation through self-supervised learn···

★ 419 2026-08-09
Awesome-Code-LLM 开源

一站式导航代码大模型研究，快速找到你需要的一切

[TMLR] A curated list of language modeling researches for code (and other software e···

★ 3451 2026-08-09
Efficient-LLMs-Survey 开源

一篇看懂 LLM 高效化，从压缩到推理加速全攻略

[TMLR 2024] Efficient Large Language Models: A Survey

★ 1260 2026-08-09
HRM 开源

让AI学会分步思考，复杂推理不再翻车

Hierarchical Reasoning Model Official Release

★ 12667 2026-08-09
NExT-GPT 开源

一个模型搞定文本、图像、音频、视频的任意输入输出

Code and models for ICML 2024 paper, NExT-GPT: Any-to-Any Multimodal Large Language ···

★ 3633 2026-08-09
titania 开源

一人读懂从大模型到晶体管的完整链路

Project Titania is a complete large language model system, from transformer to trans···

★ 129 2026-09-25
YAYI 开源

基于LlaMA2的中文专属大模型，让企业快速拥有安全可控的私有化AI能力。

雅意大模型：为客户打造安全可靠的专属大模型，基于大规模中英文多领域指令数据训练的 Lla···

★ 2526 2026-08-09
UniTok 开源

一个 tokenizer 搞定图像生成与理解，让模型更全能

[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding

★ 536 2026-08-09