open_clip

环境要求

• Python 3 环境
• pip（可执行 pip install -U pip）
• 安装 PyTorch（示例代码使用 torch 与 torch.autocast("cuda")，GPU 推理需 CUDA 环境）
• 使用 timm 图像编码器的模型需安装最新版 timm
• 使用 transformers 分词器的模型需安装 transformers

安装与启动步骤

1. 1创建虚拟环境

   在项目目录下创建名为 .env 的 Python 虚拟环境，避免污染系统环境。

   python3 -m venv .env

   复制

2. 2激活虚拟环境

   激活刚创建的虚拟环境，后续 pip 安装都会装到这个环境里。

   source .env/bin/activate

   复制

3. 3升级 pip

   先把 pip 升级到最新，减少依赖解析和安装失败问题。

   pip install -U pip

   复制

4. 4安装 OpenCLIP

   安装 open_clip_torch 包即可使用预训练模型的推理功能。

   pip install open_clip_torch

   复制

5. 5安装训练依赖

   如果需要自己训练模型，安装带 training 附加项的版本。

   pip install 'open_clip_torch[training]'

   复制

6. 6运行推理示例

   加载 ViT-B-32 预训练权重，对 docs/CLIP.png 做零样本分类，注意文件路径要存在。

   import torch
   from PIL import Image
   import open_clip
   
   model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k')
   model.eval()
   tokenizer = open_clip.get_tokenizer('ViT-B-32')
   
   image = preprocess(Image.open("docs/CLIP.png")).unsqueeze(0)
   text = tokenizer(["a diagram", "a dog", "a cat"])
   
   with torch.no_grad(), torch.autocast("cuda"):
       image_features = model.encode_image(image)
       text_features = model.encode_text(text)
       image_features /= image_features.norm(dim=-1, keepdim=True)
       text_features /= text_features.norm(dim=-1, keepdim=True)
   
       text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)
   
   print("Label probs:", text_probs)

   复制

7. 7启动单机训练

   用 CSV 数据集启动单进程训练，需先把路径和列名换成自己的真实值。

   python -m open_clip_train.main \
       --save-frequency 1 \
       --zeroshot-frequency 1 \
       --report-to tensorboard \
       --train-data="/path/to/train_data.csv"  \
       --val-data="/path/to/validation_data.csv"  \
       --csv-img-key filepath \
       --csv-caption-key title \
       --imagenet-val=/path/to/imagenet/root/val/ \
       --warmup 10000 \
       --batch-size=128 \
       --lr=1e-3 \
       --wd=0.1 \
       --epochs=30 \
       --workers=8 \
       --model RN50

   复制

关键配置

如何确认成功

推理脚本运行后打印出 Label probs: [[1., 0., 0.]] 形式的标签概率，说明模型加载与推理成功。

常见问题

注意事项

• main 分支训练栈已重构，预训练图像/文本模型的推理用法保持兼容，但训练脚本和下游集成升级前需查看变更说明。
• --imagenet-val 的 val 目录必须包含子文件夹，若没有需先用 README 中提到的脚本做预处理。
• 需要高效计算海量嵌入时，可使用支持 openclip 的 clip-retrieval。
• 推理示例使用 torch.autocast("cuda")，没有 GPU 时需去掉该上下文或改用 CPU。