InternVL

环境要求

• Python 环境（README 示例为 Python 代码）
• 已安装 PyTorch（torch）与 transformers（PyTorch 版）
• 已安装 Pillow（PIL）用于读取图片
• NVIDIA GPU + CUDA 环境（示例代码使用 .cuda() 与 bfloat16）
• 可访问 HuggingFace 下载 OpenGVLab 系列权重

安装与启动步骤

1. 1准备运行环境

   README 未给出安装命令，需自备 Python 与 NVIDIA GPU/CUDA；示例全程使用 .cuda() 和 bfloat16，纯 CPU 或显卡不支持 bf16 时无法直接跑通。

2. 2安装依赖库

   示例依赖 torch、transformers 与 Pillow，请按其官方文档自行安装对应 CUDA 版本；README 未提供 pip 安装命令，此处不代填。

3. 3准备示例图片

   在代码所在目录创建 examples/ 目录并放入 image1.jpg；跨模态检索示例还需要 image2.jpg、image3.jpg，缺文件会直接报错。

4. 4提取视觉特征

   用 InternViT-6B 对单张图片提取视觉特征。注意 README 中 image_processor 用的是 V1-5，模型用的是 V2_5，请照原文填写。

   import torch
   from PIL import Image
   from transformers import AutoModel, CLIPImageProcessor
   
   model = AutoModel.from_pretrained(
       'OpenGVLab/InternViT-6B-448px-V2_5',
       torch_dtype=torch.bfloat16,
       low_cpu_mem_usage=True,
       trust_remote_code=True).cuda().eval()
   
   image = Image.open('./examples/image1.jpg').convert('RGB')
   
   image_processor = CLIPImageProcessor.from_pretrained('OpenGVLab/InternViT-6B-448px-V1-5')
   
   pixel_values = image_processor(images=image, return_tensors='pt').pixel_values
   pixel_values = pixel_values.to(torch.bfloat16).cuda()
   
   outputs = model(pixel_values)

   复制

5. 5跨模态检索编码

   用 InternVL-14B 分别编码三张图片与中英日三条文本，做图文检索。README 节选在此处被截断，后续计算相似度的代码请对照原文补全。

   import torch
   from PIL import Image
   from transformers import AutoModel, CLIPImageProcessor
   from transformers import AutoTokenizer
   
   model = AutoModel.from_pretrained(
       'OpenGVLab/InternVL-14B-224px',
       torch_dtype=torch.bfloat16,
       low_cpu_mem_usage=True,
       trust_remote_code=True).cuda().eval()
   
   image_processor = CLIPImageProcessor.from_pretrained('OpenGVLab/InternVL-14B-224px')
   
   tokenizer = AutoTokenizer.from_pretrained(
       'OpenGVLab/InternVL-14B-224px', use_fast=False, add_eos_token=True)
   tokenizer.pad_token_id = 0
   
   images = [
       Image.open('./examples/image1.jpg').convert('RGB'),
       Image.open('./examples/image2.jpg').convert('RGB'),
       Image.open('./examples/image3.jpg').convert('RGB')
   ]
   prefix = 'summarize:'
   texts = [
       prefix + 'a photo of a red panda',
       prefix + '一张熊猫的照片',
       prefix + '二匹の猫の写真'
   ]
   
   pixel_values = image_processor(images=images, return_tensors='pt').pixel_values
   pixel_values = pixel_values.to(torch.bfloat16).cuda()
   input_ids = tokenizer(texts, return_tensors='pt', max_length=80,
                         truncation=True, padding='max_length').input_ids.cuda()

   复制

关键配置

如何确认成功

脚本无报错跑完，拿到 outputs/pixel_values/input_ids 等张量，即说明模型加载与推理正常；本质检只在代码层面验证，README 未给出服务端口或界面。

常见问题

注意事项

• README 节选中只给出了 HuggingFace 上的 Python 调用示例，没有 pip 安装命令、也没给 git clone 步骤，相关命令请以项目官方文档为准。
• 代码依赖 CUDA 与 bfloat16 支持，纯 CPU 或老显卡可能无法直接运行。
• 首次运行会从 HuggingFace 下载数 GB 级权重，注意网络与磁盘空间；README 未说明是否需要登录或配置镜像。
• README 中的跨模态检索示例在节选里被截断，缺少后续相似度计算部分，请对照原文补全后再运行。