aphantasia

用 CLIP 加频谱变换,把文字变成图像和视频。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 102 👀 关注 21
GitHub ↗
GitHub 星标 ★ 787
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

aphantasia 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队eps696
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型clip,text-to-image,text-to-video
GitHub 星标★ 787
上线时间2021-02-28 00:00:00
代码更新2025-02-13
仓库体积36.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

aphantasia 是一个基于 CLIP 模型的文本生成图像与视频的开源工具。它利用 CLIP 的语义理解能力,结合 FFT(快速傅里叶变换)、DWT(离散小波变换)以及 RGB 像素空间操作,将文本描述直接转化为视觉内容。该项目解决了传统文本到图像生成模型需要大量训练数据和复杂架构的问题,提供了一种轻量级、可解释的生成路径。其核心能力包括:从文本生成静态图像、生成动态视频序列,并支持对生成过程的精细控制。通过频谱域和空间域的混合操作,它能够捕捉文本中的关键语义特征,并映射到视觉模式上。项目采用 Python 编写,依赖 CLIP 模型,适合研究者、开发者以及创意工作者快速实验文本驱动的视觉生成。尽管项目仍处于早期阶段,但其独特的实现思路为文本到视觉生成领域提供了新的可能性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 787

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU 8G+
  • Python 3.9+

安装与启动步骤

  1. 1装依赖

    文本驱动图像生成的一组实验脚本,基于 CLIP。

    pip install -r requirements.txt
  2. 2装 CLIP

    必须从源码装官方 CLIP。

    pip install git+https://github.com/openai/CLIP.git
  3. 3跑 FFT 生成

    最基础的一条,输出抽象纹理图。

    python clip_fft.py -t "the text" --size 1280-720
  4. 4跑分块插画

    illustrip 会把内容按段落生成再拼接。

    python illustrip.py --in_txt mycontent.txt --in_txt2 mystyles.txt --size 1280-720 --steps 100

如何确认成功

输出目录生成图像,且随提示词变化明显。

注意事项

  • 这个项目的价值是「不用训练」的视觉实验,风格偏艺术。
  • 参数极多,先跑 README 里的默认值再调。
  • 生成时间与 steps 成正比,试参数时调小。

核心亮点

  • 轻量级实现,无需训练生成模型,直接利用 CLIP 进行优化。
  • 支持文本生成图像和视频,覆盖多模态生成场景。
  • 结合 FFT/DWT 频域操作,生成过程可解释且可调参。

不足之处

  • 生成分辨率可能受限,依赖 CLIP 优化速度较慢。
  • 文档和社区生态尚不完善,上手门槛较高。

适用场景

  • 快速原型验证,将文本概念转化为视觉草图。
  • 艺术创作,生成抽象或风格化图像/视频。
  • 教学演示,理解 CLIP 引导生成原理。

替代项目

DeepDaze、BigGAN、DALL·E

上一篇:TF-ICON

下一篇:text2art

同类项目推荐

satori 开源

网页代码一键变高清图,放大不糊,不用截图

Enlightened library to convert HTML and CSS to SVG

★ 14169 2026-08-09
DirectorsConsole 开源

在无限画布上,用电影级提示词并行驱动多台 ComfyUI 生成视频。

A web application for prompt generation and multiple ComfyUI remote and local connec···

★ 369 2026-08-09
test_my_prompt 开源

批量测试提示词,快速对比效果,告别手动反复试。

This script is to test your prompts with the AUTOMATIC1111 webui

★ 193 2026-08-09
DPL 开源

让扩散模型听你的话,精准改图不串台

[NeurIPS 2023] Dynamic Prompt Learning: Addressing Cross-Attention Leakage for Text-···

★ 111 2026-08-09
weird 开源

用 Lisp 代码轻松生成炫酷艺术图形

Generative art in Common Lisp

★ 1597 2026-08-09
dynamicprompts 开源

用模板批量生成多样化提示词,告别手写重复

Templating language for generating prompts for text to image generators such as Stab···

★ 167 2026-09-17
goshot 开源

本地命令行一键生成美观代码截图,替代在线 Carbon

Create beautiful code screenshots with customizable styles

★ 329 2026-08-09
Story2Board 开源

从故事文本一键生成连贯漫画分镜,无需训练。

Official implementation for "Story2Board: A Training‑Free Approach for Expressive S···

★ 307 2026-08-09