CLIPA

用更少数据和算力,训练出媲美大模型的CLIP

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 14 🐛 待处理 2 👀 关注 13
GitHub ↗
GitHub 星标 ★ 323
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

CLIPA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队UCSC-VLAA
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型contrastive-learning,deep-learning,foundation-models,multimodal-learning,neurips-2023,pytorch,zero-shot-classification,zero-shot-learning
GitHub 星标★ 323
上线时间2023-04-26 00:00:00
代码更新2024-06-03
仓库体积16.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

CLIPA是NeurIPS 2023论文的官方开源实现,核心发现是CLIP训练中存在逆缩放定律,即模型容量与数据规模可以按比例缩减而不损失性能。项目提供了高效训练CLIP模型的代码库,支持在有限计算资源下训练出高性能的视觉-语言对比模型。它解决了传统CLIP训练需要海量数据和算力的问题,通过理论指导的缩放策略,将训练成本降低数倍。核心能力包括:基于逆缩放定律的训练配置、高效的图像-文本对训练流程、以及可复现的基准结果。该实现基于Python和PyTorch,适合研究者和工程师在资源受限场景下训练自定义CLIP模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 323

核心亮点

  • 提出逆缩放定律,显著降低CLIP训练成本,论文被NeurIPS接收,理论扎实
  • 官方实现,代码结构清晰,便于复现论文实验和二次开发
  • 支持灵活配置模型大小和数据规模,适配不同资源条件

不足之处

  • 文档/社区待观察
  • 依赖特定数据预处理流程,上手需一定CLIP背景

适用场景

  • 学术研究:验证逆缩放定律或探索更高效的CLIP训练方法
  • 工业应用:在有限GPU资源下训练定制化图文检索模型
  • 教学演示:展示对比学习与缩放定律的实践案例

替代项目

OpenCLIP、CLIP、SigLIP

上一篇:deep-delta-learning

下一篇:LRV-Instruction

同类项目推荐

petals 开源

在家用 BitTorrent 方式跑大模型,推理微调快 10 倍

Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than ···

★ 10701 2026-08-09
merge-models 开源

按比例融合两个扩散模型,快速生成新风格模型

Merges two latent diffusion models at a user-defined ratio

★ 262 2026-08-09
IPR 开源

逐步纠错,让LLM智能体每一步都走对

Watch Every Step! LLM Agent Learning via Iterative Step-level Process Refinement (E···

★ 67 2026-08-09
Soup 开源

一个YAML搞定大模型微调,4GB显卡也能训8B模型

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GP···

★ 10358 2026-08-09
DPO-Shift 开源

修正 DPO 分布偏移,让模型对齐更稳更准

DPO-Shift: Shifting the Distribution of Direct Preference Optimization

★ 59 2026-08-09
model-optimization 开源

几行代码压缩模型,让大模型跑进手机和嵌入式设备

A toolkit to optimize ML models for deployment for Keras and TensorFlow, including q···

★ 1582 2026-10-17
DDSM 开源

让扩散模型训练更快更省,按步骤智能分配学习资源

Denoising Diffusion Step-aware Models (ICLR2024)

★ 61 2026-08-09
EasyR1 开源

多模态强化学习训练,高效扩展不卡壳

EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework based on veRL

★ 5212 2026-08-09
UniRL 开源

一套框架搞定多种数据训练,强化学习不再各搞各的

UniRL is a Framework for Unified Multimodal Model Reinforcement Learning

★ 1045 2026-08-09