项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
技术标签
使用教程
—
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境与 pip（README 未给出具体版本要求）
- PyTorch：项目为纯 PyTorch 原生实现，需保证 PyTorch 可用
- HuggingFace Diffusers：cache-dit 构建在其之上
- 可选：多张 GPU，用于 Context/Tensor 并行优化
- 可选：支持 SVDQuant 量化的硬件环境
安装与启动步骤
-
1准备 Python 环境
README 未给出 Python、PyTorch 的具体版本要求，请先确认本机 Python、pip 及 PyTorch 可正常使用。
-
2安装 cache-dit
README 的 PyPI 徽章指向 pypi.org/project/cache-dit，对应包名为 cache-dit，用 pip 安装该包。
pip install cache-dit -
3准备 Diffusers 环境
cache-dit 构建在 HuggingFace Diffusers 之上，需按 Diffusers 官方方式准备好该库，以便加载其支持的 DiT 模型。
-
4查阅缓存与并行 API
查看官方文档中的 CACHE_API 与 CONTEXT_PARALLEL 章节，了解 DBCache、TaylorSeer、SCM 及并行优化的接入方式。
如何确认成功
README 未给出官方验证命令；安装完成后可在 Python 中尝试导入该包，未报错即表示安装成功。
常见问题
Q：cache-dit 支持哪些模型？
A：它基于 HuggingFace Diffusers 构建，README 称已支持 Diffusers 中几乎全部 DiT 模型，完整清单见官方 supported_matrix 文档。
Q：它提供哪些加速手段？
A：混合缓存加速（DBCache、TaylorSeer、SCM 等）、Context/Tensor 等并行优化、SVDQuant 量化，以及 CPU offload。
Q：必须用多张显卡吗？
A：README 未作硬性说明。并行类优化面向多卡场景，单卡情况下可只使用缓存等优化来提速与省显存。
Q：有官方文档或官网吗？
A：README 未提及独立官网，官方文档地址为 https://cache-dit.readthedocs.io/en/latest/ 。
注意事项
- README 节选未包含安装命令与环境版本要求，其中的 pip 安装命令由 PyPI 徽章链接推断，请以官方文档为准。
- 缓存、并行、量化与 CPU offload 均为可选优化，需按显存和硬件条件选用。
- 量化（SVDQuant）与并行优化对 GPU 型号和多卡配置有要求，使用前请确认兼容性。
核心亮点
- 把缓存、并行、量化、CPU offload 四类优化打包成一个引擎，不用自己拼装多个工具
- 纯 PyTorch 原生实现，不绑定特定推理框架，方便嵌入现有代码
- 已适配 flux2-klein 等新模型，并集成 SVDQuant 量化方案，跟进速度较快
不足之处
- 项目处于成长阶段，文档和示例覆盖度有限，上手需要一定调试成本
- 缓存与量化组合在不同模型上的收益差异较大，缺少系统性的调优指南
适用场景
- 在单张消费级显卡上部署 Flux 等大 DiT 模型做图像生成
- 多卡环境下对 DiT 推理做并行加速以提升吞吐
- 显存受限时用 CPU offload 加量化把模型跑起来
替代项目
diffusers、TensorRT-LLM、stable-diffusion.cpp
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes