VisionHOPE

让视觉骨干网络边用边自我修改

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 计算机视觉 🍴 复刻 42 🐛 待处理 6 👀 关注 27
GitHub ↗
GitHub 星标 ★ 1284
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码,遵循仓库许可证免费使用

项目预览

VisionHOPE 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类计算机视觉
开发团队PSRben
定价模式🏷️完全免费
价格说明开源代码,遵循仓库许可证免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型backbone,backbone-networks,computer-vision,foundation-models,image-classification,nested-learning,vision-framework,visual-foundation-models
GitHub 星标★ 1284
上线时间2026-09-27 00:00:00
代码更新2026-10-12
仓库体积694 KB
本站数据更新2026-10-29
维护状态较活跃
收录时间2026-10-29
浏览次数0

项目介绍

VisionHOPE 是论文《Visual Backbones as Self-Modifying Learning Systems》的官方 PyTorch 实现,核心思路是把视觉骨干网络从静态特征提取器变成可自我修改的学习系统。项目将嵌套学习(nested learning)机制引入视觉骨干,让网络在推理或持续学习过程中根据输入动态调整自身参数或结构,而不是依赖一次性离线训练。它面向计算机视觉基础模型与图像分类场景,提供可复现的训练与评测代码,方便研究者把该机制接入现有 backbone 网络进行对比实验。代码以 Python 编写,结构贴近主流视觉框架习惯,适合作为研究基线或二次开发起点。项目星标约 1.2k,处于成长阶段,社区仍在积累,适合关注视觉骨干自适应学习方向的研究者跟进。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-29 · 当前星标 ★ 1284

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 7 步

环境要求

  • Linux 系统,配备 NVIDIA GPU 与 CUDA 工具链(含 nvcc 和 C++ 编译器)
  • CUDA 12.1 运行环境
  • Python 3.10(分类任务也支持 3.11)
  • 首次运行时会自动编译 CUDA 扩展,需要本机具备编译环境
  • COCO / ADE20K 任务需要另外创建独立的 Python 3.10 环境

安装与启动步骤

  1. 1准备系统环境

    确认是 Linux + NVIDIA GPU 机器,已装 CUDA 12.1 与 nvcc、C++ 编译器;用 nvcc 命令检查版本是否匹配。

    nvcc --version
  2. 2获取项目代码

    克隆仓库后,后续所有命令都在仓库根目录执行,注意不要在其他路径下运行安装命令。

    git clone https://github.com/PSRben/VisionHOPE.git
    cd VisionHOPE
  3. 3安装 PyTorch

    按 README 指定的 CUDA 12.1 源安装 torch 2.1.0 与 torchvision 0.16.0,版本需与 CUDA 对齐。

    python -m pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu121
  4. 4安装分类依赖

    安装图像分类任务所需的依赖清单,需在仓库根目录执行以保证相对路径 requirements/ 可用。

    python -m pip install -r requirements/classification.txt
  5. 5以可编辑模式安装

    用 --no-deps 避免覆盖已装好的依赖,-e 方式安装使本地改动能直接生效。

    python -m pip install --no-deps -e .
  6. 6安装 MMCV(可选)

    只有在做 COCO 检测或 ADE20K 分割时才需要,需使用与 cu121 / torch2.1 对应的预编译包。

    python -m pip install --only-binary=mmcv mmcv==2.1.0 -f https://download.openmmlab.com/mmcv/dist/cu121/torch2.1/index.html
  7. 7安装任务依赖(可选)

    按任务在各自独立环境中二选一安装:检测用 detection.txt,分割用 segmentation.txt,装完再执行一次可编辑安装。

    python -m pip install -r requirements/detection.txt
    python -m pip install --no-deps -e .

如何确认成功

执行 python -c "import torch;print(torch.__version__, torch.cuda.is_available())",应输出 2.1.0 与 True。

常见问题

Q:安装后首次运行报 CUDA 扩展编译错误?

A:CUDA 扩展在首次使用时才编译,需要机器上有 nvcc 和 C++ 编译器。请先确认 CUDA 12.1 工具链完整,且 nvcc 版本与 torch 的 cu121 构建匹配。

Q:可以用 Python 3.11 吗?

A:分类任务支持 3.10 和 3.11,其他任务建议统一用 Python 3.10。做 COCO 或 ADE20K 时,每个任务单独建一个 Python 3.10 环境。

Q:为什么安装项目本身要加 --no-deps?

A:README 指定的安装方式是 --no-deps -e .,目的是不重新解析依赖、避免把上面已装好的指定版本 torch 等覆盖掉。

Q:需要装 mmcv 吗?

A:只有 COCO 检测和 ADE20K 分割才需要。安装时用 --only-binary=mmcv 并指定 cu121/torch2.1 的下载源,保证二进制包匹配。

注意事项

  • 混合精度请用 torch.autocast,模型参数保持 FP32,不要直接把参数转成半精度。
  • COCO 与 ADE20K 的依赖装在不同环境里,避免版本互相污染。
  • README 未给出训练与评测的启动命令,实际入口脚本请以仓库内代码为准。

核心亮点

  • 提供论文官方 PyTorch 实现,训练与评测流程可复现
  • 把嵌套学习机制落到视觉骨干上,思路区别于常规微调与提示学习
  • 代码围绕 backbone 网络组织,便于替换骨干做对比实验

不足之处

  • 星标约 1.2k,社区规模与生态工具尚在早期
  • 作为论文配套代码,工程化封装与文档完善度有待观察

适用场景

  • 视觉骨干网络自适应学习机制的研究复现
  • 图像分类任务上的新方法对比实验
  • 在现有 backbone 上做二次开发与消融实验

替代项目

timm、MMClassification、detectron2

同类项目推荐

vision 开源

一站式搞定视觉数据与模型,让 CV 开发像写文本一样简单

Datasets, Transforms and Models specific to Computer Vision

★ 17971 2026-08-10
depth-detect 开源

Jetson 上同时跑深度估计和 YOLO 检测,TensorRT 加速

mono / stereo depth estimation + yolo object detection with deployment on Jeston nan···

★ 629 2026-09-30
mahotas 开源

NumPy 风格图像处理,C++ 加速,轻量做视觉特征

Computer Vision in Python

★ 890 2026-09-28
Sa2VA 开源

一句话指挥AI分割图像视频,精准定位目标

Official Repo For Pixel-LLM Codebase: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxi···

★ 1694 2026-08-09
Olympus 开源

一个路由搞定所有视觉任务,免去逐个微调

[CVPR 2025 Highlight] Official code for "Olympus: A Universal Task Router for Comput···

★ 427 2026-08-09
mlkit 开源

照着跑通 Google 官方 ML Kit 示例,快速集成视觉和 NLP 能力

A collection of sample apps to demonstrate how to use Google's ML Kit APIs on Androi···

★ 4305 2026-08-10
spirula-studio 开源

视频一键训练成3D高斯和网格,A卡N卡都能跑

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

★ 1993 2026-10-05
STranslate 开源

选中即译、截图即识,Windows 上最顺手的翻译 OCR 小工具

A ready-to-go translation ocr tool developed with WPF/WPF 开发的一款即用即走的翻译、···

★ 8428 2026-08-10