PaDT

把图像切成 token，一个模型搞定分割、检测、姿态估计

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 12 🐛 待处理 15 👀 关注 2
GitHub ↗
GitHub 星标 ★ 167
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0 许可证，可自由使用，无付费版本。

项目预览

PaDT 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队Gorilla-Lab-SCUT
GitHubhttps://github.com/Gorilla-Lab-SCUT/PaDT
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0 许可证，可自由使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型computer-vision,large-language-models,machine-learning,multimodal-large-language-models,patch-as-decodable-token
GitHub 星标★ 167
上线时间2025-09-26 00:00:00
代码更新2026-08-03
仓库体积7.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

PaDT 是一个面向多模态大语言模型（MLLM）的统一视觉任务框架，其核心思想是将图像分割为可解码的视觉 token（Patch-as-Decodable-Token），从而让模型能够同时处理多种视觉任务，如分割、检测、姿态估计等。该项目解决了传统 MLLM 在视觉任务上需要特定任务头或复杂适配器的问题，通过将视觉信息转化为模型可直接解码的 token，实现了任务间的统一建模。其核心能力包括：支持多种视觉任务的联合训练与推理、灵活的 token 解码机制、以及基于 ICLR 2026 论文的官方实现。项目代码基于 Python，处于早期开发阶段（164 星标），但提供了清晰的架构和实验配置，适合研究者和开发者探索多模态统一模型的新范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 167

核心亮点

  • 统一框架：用单一解码 token 机制覆盖多种视觉任务，减少任务特定模块
  • 论文官方实现：ICLR 2026 论文代码，算法有理论支撑
  • 架构清晰：代码结构模块化，便于二次开发和实验复现

不足之处

  • 早期项目：星标少，社区生态和文档尚不完善
  • 依赖特定 MLLM 基础，可能对硬件资源要求较高

适用场景

  • 多模态大模型研究：探索统一视觉任务建模
  • 自动驾驶感知：同时处理目标检测、分割和姿态估计
  • 智能交互系统：实现图像理解与生成式任务的融合

替代项目

UniT、Mask2Former、X-Decoder

上一篇：Sa2VA

下一篇：GLiNER

同类项目推荐

LiDARCrafter 开源

从 LiDAR 序列直接生成动态 4D 世界，让机器看懂时空变化

[AAAI 2026 Oral] LiDARCrafter: Dynamic 4D World Modeling from LiDAR Sequences

★ 207 2026-08-09
PGS 开源

在Processing里轻松搞定复杂几何处理，让创意不卡壳。

Processing Geometry Suite

★ 221 2026-08-09
DynamicVis 开源

用动态视觉机制，高效理解遥感图像。

This is the implement of the paper "DynamicVis: An Efficient and General Visual Foun···

★ 87 2026-08-09
awesome-3D-scene-graphs 开源

3D场景图论文与代码一站查，调研省时

Awesome 3D Scene Graphs: a curated list of 3D scene graph generation and related res···

★ 182 2026-10-27
NAF 开源

零样本特征放大，无需训练，即插即用提升视觉模型分辨率

Official Implementation of NAF: Zero-Shot Feature Upsampling via Neighborhood Attent···

★ 122 2026-08-09
galaxy-explorer 开源

浏览器里漫游程序化生成的银河系，无需后端和构建步骤

An interactive, procedurally-generated Milky Way galaxy in the browser — WebGL / th···

★ 101 2026-08-09
Anomagic 开源

用文字描述就能生成工业异常图像，零样本搞定缺陷数据增强

[AAAI 2026] The Official Implementation for "Anomagic: Crossmodal Prompt-driven Zero···

★ 161 2026-08-09
ocr-it 开源

框选一次屏幕区域，快捷键反复离线取字

Chrome extension: pin a screen region once, then hotkey your way through a paginated···

★ 428 2026-09-19