项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 704
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- 多卡 GPU 集群
- 大规模图文数据集
- 分布式训练经验
安装与启动步骤
-
1确认用途
这是面向多模态大模型的大规模视觉预训练方案，不是推理工具。
-
2准备数据
论文用的是 LAION400M、COYO700M 这类超大规模数据，个人只能小规模复现。
-
3装依赖
按仓库要求装 PyTorch 与分布式训练依赖，多卡才跑得动原配置。
-
4小规模验证
先用小数据集跑通采样到聚类的对比学习流程，确认 loss 正常再扩。
如何确认成功
小规模训练能跑通若干 step 且 loss 有下降
注意事项
- 仓库更偏研究复现，配置和脚本需要按自己的环境改。
- 单卡基本跑不动原设定，别按论文参数硬上。
核心亮点
- 大规模预训练，特征泛化能力强
- 支持多种下游任务，迁移灵活
- 提供预训练权重，开箱即用
不足之处
- 文档/社区待观察
- 模型规模大，推理资源要求高
适用场景
- 图像检索与相似度匹配
- 图像分类与目标检测的预训练骨干
- 跨模态任务中的视觉编码
替代项目
CLIP、DINOv2、MAE
同类项目推荐
Awesome-LLM-Long-Context-Modelin···
开源
一站式掌握大模型长上下文技术，从论文到实践
Must-read papers and blogs on LLM based Long Context Modeling
llm-legislativo
开源
巴西立法语料+纯PyTorch从零训练小模型
Corpus legislativo brasileiro em larga escala e modelo Transformer causal treinado d···
Valley
开源
一个模型同时看懂文字、图片、视频和音频
Valley is a cutting-edge multimodal large model designed to handle a variety of task···
ultravox
开源
让AI语音对话快如真人，实时响应不卡顿
A fast multimodal LLM for real-time voice
GFT
开源
用树形词汇表让图模型学会跨数据集迁移，省去重复训练
GFT: Graph Foundation Model with Transferable Tree Vocabulary, NeurIPS 2024.
Awesome-Biosignal-Foundation-Mod···
开源
一份清单，帮你快速找到生物信号AI模型和数据集。
A curated list of foundation models, datasets, and tools for biosignals
LabVLA
开源
让机器人看懂实验手册，自动完成科研操作
LabVLA: Grounding Vision–Language–Action Models in Scientific Laboratories
Awesome-Foundation-Models-in-Med···
开源
一页看懂医学影像AI基础模型，找模型不再大海捞针
A curated list of foundation models for vision and language tasks in medical imaging
Awesome-LLM-KG
开源
一页看懂LLM与知识图谱融合的所有关键论文
Awesome papers about unifying LLMs and KGs