Olympus

一个路由搞定所有视觉任务，免去逐个微调

Olympus 是一个面向计算机视觉任务的通用任务路由器，由 CVPR 2025 Highlight 论文官方开源。它旨在解决多模态大模型（如 LLaVA）在处理复杂视觉任务时，需要针对每个任务单独训练或微调模型的问题。Olympus 通过指令微调，学习将输入图像和用户指令路由到最合适的视觉专家模型（如检测、分割、姿态估计等），从而实现零样本或少样本的跨任务泛化。其核心能力包括：统一的任务接口、基于指令的路由决策、以及与现有视觉模型的无缝集成。项目基于 PyTorch 实现，提供了完整的训练和推理代码，支持多模态输入，并遵循 LLaVA 的架构风格。对于研究者而言，Olympus 提供了一个新的范式，即通过路由而非组合来扩展视觉 AI 的能力，降低了构建通用视觉助手的门槛。