Robust-U1

让多模态模型自己修复坏图，理解不翻车

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 3 🐛 待处理 1 👀 关注 1
GitHub ↗
GitHub 星标 ★ 355
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，无在线服务，需自行部署，完全免费。

项目预览

Robust-U1 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队PolyX-Research
GitHubhttps://github.com/PolyX-Research/Robust-U1
定价模式🏷️完全免费
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型generation,image-restoration,large-language-models,low-level-vision,reasoning,reasoning-language-models,unified-model
GitHub 星标★ 355
上线时间2026-05-14 00:00:00
代码更新2026-06-12
仓库体积1.2 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Robust-U1 是 ICML 2026 论文的官方实现，聚焦多模态大语言模型（MLLMs）在视觉内容受损时的自恢复能力。它解决的是现实场景中图像被噪声、遮挡、模糊等破坏后，模型理解性能急剧下降的问题。核心能力是让模型主动检测视觉输入的异常，并通过自我修复机制重建或补全受损信息，从而维持稳健的理解水平。项目提供了完整的训练和评估代码，支持多种主流 MLLM 架构，并附带基准测试数据集。通过引入自恢复模块，模型无需外部修复工具即可在推理阶段动态处理损坏图像，显著提升鲁棒性。该工作为多模态理解在恶劣视觉条件下的应用提供了新思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 355

核心亮点

  • 提出新颖的自恢复机制，模型主动修复受损视觉内容，而非依赖外部预处理
  • 提供完整训练与评估代码，易于复现论文结果
  • 针对真实噪声、遮挡等场景设计，实用性强

不足之处

  • 早期项目，文档和社区支持待观察
  • 自恢复机制可能增加推理计算开销，影响实时性

适用场景

  • 自动驾驶中摄像头图像受恶劣天气干扰时的场景理解
  • 监控视频中画面模糊或遮挡情况下的目标识别
  • 移动端拍照质量差时，仍能进行准确的图像问答

替代项目

RobustVLM、Self-healing MLLM、Corruption-robust VLM

上一篇：Awesome-Anomaly-Detection-Foundation-Models

下一篇：factualNLG

同类项目推荐

next-evals-oss 开源

给 AI 出 Next.js 考题，看它到底会不会写

Evals for Next.js up to 15.5.6 to test AI model competency at Next.js

★ 329 2026-09-14
Cognitive-Core-Skills 开源

一套标准，量化AI的认知核心技能，让模型能力可比较。

A universal, industry-neutral taxonomy of cognitive core skills (perception, memory,···

★ 140 2026-08-10
content-seal 开源

给AI生成的音视图文打上隐形来源标记

Content Seal is a state-of-the-art framework for invisible, robust watermarking acro···

★ 243 2026-11-07
auto_LiRPA 开源

给神经网络算严格上下界，验证对抗鲁棒性

auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···

★ 359 2026-10-23
clean-fid 开源

让 FID 分数更可信，生成模型评估不踩坑

PyTorch - FID calculation with proper image resizing and quantization steps [CVPR 20···

★ 1171 2026-08-09
InfiniteBench 开源

测出大模型在10万字长文本下的真实水平

Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···

★ 393 2026-08-09
AgentEval 开源

用 .NET 原生工具，给 AI Agent 做全面体检和红队测试。

AgentEval is the comprehensive .NET toolkit for AI agent evaluation—tool usage vali···

★ 158 2026-08-10