Robust-R1

让视觉模型在模糊、低光等恶劣图像下也能准确推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 18 🐛 待处理 3 👀 关注 11
GitHub ↗
GitHub 星标 ★ 510
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无收费信息。

项目预览

Robust-R1 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队jqtangust
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无收费信息。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型large-language-models,multi-modal,multimodel-large-language-model,reasoning,robustness,trustworthy-ai
GitHub 星标★ 510
上线时间2025-11-09 00:00:00
代码更新2026-01-20
仓库体积1.6 MB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Robust-R1 是一个针对视觉语言模型在复杂退化场景下推理能力不足的问题而提出的开源项目,其论文被 AAAI 2026 接收为 Oral。该项目核心是提出一种“退化感知推理”方法,通过让模型显式识别图像中的退化类型(如模糊、噪声、低光等),并基于此进行逐步推理,从而显著提升模型在真实恶劣环境下的视觉理解鲁棒性。项目提供了官方实现,包括模型训练代码、推理脚本和评估基准,支持在主流视觉语言模型(如 LLaVA 系列)上进行微调。它解决了现有模型在退化图像上性能骤降的痛点,使得模型在自动驾驶、监控、遥感等对图像质量敏感的场景中更加可靠。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 510

使用教程

难度:高级 约 120 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.10
  • 较大显存

安装与启动步骤

  1. 1建环境

    它锁具体的 Python 小版本。

    conda create -n robust_r1 python=3.10
  2. 2跑安装脚本

    仓库把依赖打包成一个脚本。

    bash setup.sh
  3. 3先跑演示

    给一道带干扰项的选择题,看它怎么选。

    python demo.py "What type of vehicles are the people riding?"
  4. 4起界面

    也有网页界面可交互。

    python app.py
  5. 5要训练再拉外部框架

    训练依赖外部框架与额外数据,成本高。

如何确认成功

演示脚本对一道带干扰项的视觉选择题给出正确选项,且输出里能看到推理过程而不是只给答案

注意事项

  • 它做的是提升多模态模型在干扰信息下的推理稳健性。
  • 评测涉及多个公开基准,仓库给了对应脚本。
  • 训练依赖外部框架与额外数据,投入前先算成本。
  • 演示只验证推理链路通不通,不代表训练效果。

核心亮点

  • 首次将退化类型识别显式融入推理链,提升模型在多种退化下的鲁棒性
  • 提供完整的训练与评估代码,基于主流 VLM 架构易于复现
  • AAAI 2026 Oral 背书,方法论经过严格学术评审

不足之处

  • 项目处于早期,文档和社区支持尚不完善
  • 依赖特定 VLM 基座,迁移到其他架构可能需要额外适配

适用场景

  • 自动驾驶中的恶劣天气感知
  • 安防监控中的低光/模糊图像分析
  • 遥感图像中的噪声干扰目标识别

替代项目

LLaVA-Robust、RobustVLM、CLIP-Robust

上一篇:VLM-CADFeatureRecognition

下一篇:GraspGPT_public

同类项目推荐

gca 开源

用元胞自动机生成复杂3D结构和纹理,复现ICLR论文

Official implementation of Generative Cellular Automata: ICLR 2021, 2022 (spotlight)

★ 55 2026-08-09
BoofCV 开源

纯 Java 视觉库,Android 上跑标定、跟踪和三维重建

Fast computer vision library for SFM, calibration, fiducials, tracking, image proce···

★ 1208 2026-09-18
OmniShotCut 开源

自动找出视频里每个镜头切换点,省去手动标记

OmniShotCut is a sensitive and more informative SoTA on Shot Boundary Detection task···

★ 348 2026-09-18
3dgrut 开源

给高斯泼溅加上光线追踪,渲染出真实反射与阴影

Ray tracing and hybrid rasterization of Gaussian particles

★ 2492 2026-09-17
yolo-inference 开源

一套代码跑通十余代 YOLO 推理

C++ and Python implementations of YOLOv3, YOLOv4, YOLOv5, YOLOv6, YOLOv7, YOLOv8, YO···

★ 213 2026-11-08
GLAMR 开源

动态相机下,遮挡也能精准重建3D人体

[CVPR 2022 Oral] Official PyTorch Implementation of "GLAMR: Global Occlusion-Aware H···

★ 392 2026-08-09
MovieChat 开源

把整部电影装进模型,问啥答啥,长视频理解不再难。

[CVPR 2024] MovieChat: From Dense Token to Sparse Memory for Long Video Understandin···

★ 711 2026-08-09
ai4rs 开源

遥感图像目标检测与变化检测,开箱即用

AI for remote sensing, remote sense, object detection, oriented object detection, co···

★ 164 2026-09-28
OCRmyPDF 开源

给扫描 PDF 加上可搜索文字层,秒变可检索文档

OCRmyPDF adds an OCR text layer to scanned PDF files, allowing them to be searched

★ 35286 2026-08-10