
Robust-R1
让视觉模型在模糊、低光等恶劣图像下也能准确推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 510
使用教程
环境要求
- CUDA 显卡
- Python 3.10
- 较大显存
安装与启动步骤
-
1建环境
它锁具体的 Python 小版本。
conda create -n robust_r1 python=3.10 -
2跑安装脚本
仓库把依赖打包成一个脚本。
bash setup.sh -
3先跑演示
给一道带干扰项的选择题,看它怎么选。
python demo.py "What type of vehicles are the people riding?" -
4起界面
也有网页界面可交互。
python app.py -
5要训练再拉外部框架
训练依赖外部框架与额外数据,成本高。
如何确认成功
演示脚本对一道带干扰项的视觉选择题给出正确选项,且输出里能看到推理过程而不是只给答案
注意事项
- 它做的是提升多模态模型在干扰信息下的推理稳健性。
- 评测涉及多个公开基准,仓库给了对应脚本。
- 训练依赖外部框架与额外数据,投入前先算成本。
- 演示只验证推理链路通不通,不代表训练效果。
核心亮点
- 首次将退化类型识别显式融入推理链,提升模型在多种退化下的鲁棒性
- 提供完整的训练与评估代码,基于主流 VLM 架构易于复现
- AAAI 2026 Oral 背书,方法论经过严格学术评审
不足之处
- 项目处于早期,文档和社区支持尚不完善
- 依赖特定 VLM 基座,迁移到其他架构可能需要额外适配
适用场景
- 自动驾驶中的恶劣天气感知
- 安防监控中的低光/模糊图像分析
- 遥感图像中的噪声干扰目标识别
替代项目
LLaVA-Robust、RobustVLM、CLIP-Robust
同类项目推荐
gca
开源
用元胞自动机生成复杂3D结构和纹理,复现ICLR论文
Official implementation of Generative Cellular Automata: ICLR 2021, 2022 (spotlight)
BoofCV
开源
纯 Java 视觉库,Android 上跑标定、跟踪和三维重建
Fast computer vision library for SFM, calibration, fiducials, tracking, image proce···
OmniShotCut
开源
自动找出视频里每个镜头切换点,省去手动标记
OmniShotCut is a sensitive and more informative SoTA on Shot Boundary Detection task···
3dgrut
开源
给高斯泼溅加上光线追踪,渲染出真实反射与阴影
Ray tracing and hybrid rasterization of Gaussian particles
yolo-inference
开源
一套代码跑通十余代 YOLO 推理
C++ and Python implementations of YOLOv3, YOLOv4, YOLOv5, YOLOv6, YOLOv7, YOLOv8, YO···
GLAMR
开源
动态相机下,遮挡也能精准重建3D人体
[CVPR 2022 Oral] Official PyTorch Implementation of "GLAMR: Global Occlusion-Aware H···
MovieChat
开源
把整部电影装进模型,问啥答啥,长视频理解不再难。
[CVPR 2024] MovieChat: From Dense Token to Sparse Memory for Long Video Understandin···
ai4rs
开源
遥感图像目标检测与变化检测,开箱即用
AI for remote sensing, remote sense, object detection, oriented object detection, co···
OCRmyPDF
开源
给扫描 PDF 加上可搜索文字层,秒变可检索文档
OCRmyPDF adds an OCR text layer to scanned PDF files, allowing them to be searched