tokenize-anything

一个模型,提示任意视觉概念,统一分割与识别

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 27 🐛 待处理 12 👀 关注 5
GitHub ↗
GitHub 星标 ★ 602
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。

项目预览

tokenize-anything 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队baaivision
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型foundation-models,multimodal,promptable,representation-learning
GitHub 星标★ 602
上线时间2023-12-14 00:00:00
代码更新2024-12-11
仓库体积6.9 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Tokenize Anything via Prompting 是一个来自 ECCV 2024 的视觉模型,旨在通过统一的提示框架将任意视觉概念(如物体、区域、分割掩码)转化为可学习的 token。它解决了传统视觉模型只能处理单一任务(如分类或分割)的局限,让一个模型同时支持图像级、区域级和像素级的理解与生成。核心能力包括:基于文本或点提示的通用分割、可泛化的开放词汇识别,以及将视觉特征映射到语言模型可用的 token 空间,从而支持多模态交互。项目代码基于 Jupyter Notebook 提供演示,适合研究语义分割、多模态理解和视觉提示学习。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 602

使用教程

难度:高级 约 60 分钟 部署方式:本地GPU 4 步

环境要求

  • GPU 显存 12G 以上
  • 预训练权重
  • 视觉任务基础

安装与启动步骤

  1. 1克隆装包

    在仓库目录里装成本地包。

    cd tokenize-anything && pip install .
  2. 2拉权重

    模型权重在外部托管,按说明下载。

  3. 3跑演示

    用点或框给提示,它同时输出分割、识别与描述。

  4. 4接自己的图

    换成你的图试,新类别要靠文本提示描述。

如何确认成功

给一个框或点,能同时得到该区域的分割掩码、类别名与一句描述,三者互相对得上

注意事项

  • 它把分割、识别、描述合成一个提示式接口。
  • 提示形式不同(点、框、笔画)结果会差不少。
  • 类别靠文本描述,措辞影响识别准确度。
  • 权重需要单独下载,仓库里没有。

核心亮点

  • 统一了分割、识别和生成任务,减少多模型拼接成本
  • 支持文本和点等多种提示方式,交互灵活
  • 基于 ECCV 2024 论文,方法有学术背书

不足之处

  • 项目处于早期,文档和示例覆盖有限
  • 依赖特定预训练权重,复现门槛较高

适用场景

  • 多模态视觉理解研究(如统一分割与识别)
  • 基于提示的交互式图像编辑工具
  • 开放词汇目标检测与分割原型开发

替代项目

SEEM (Segment Everything Everywhere)、SAM (Segment Anything Model)、X-Decoder

上一篇:EmerNeRF

下一篇:Groma

同类项目推荐

Medical-SAM3 开源

给个提示就能分割任意医学影像,一个模型通吃多模态

Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentat···

★ 235 2026-10-01
x-unet 开源

用最新注意力机制升级 U-Net,提升图像生成与分割效果

Implementation of a U-net complete with efficient attention as well as the latest re···

★ 294 2026-08-09
amodal 开源

看穿遮挡,AI补全物体被遮住的完整模样

Official code for "Amodal Completion via Progressive Mixed Context Diffusion" [CVPR ···

★ 56 2026-08-09
isaac_ros_object_detection 开源

在 ROS 2 里用 NVIDIA GPU 跑目标检测,订阅图像直接出检测框

NVIDIA-accelerated, deep learned model support for image space object detection

★ 205 2026-09-30
CC-Pan 开源

用扩散模型高效融合遥感图像,全色锐化又快又准

[TMM 2026] Official implementation for "CC-Pan: Channel-wise Compression based Diffu···

★ 156 2026-08-09
Graph-CAD 开源

用自然语言直接生成 CAD 模型,几何感知更精准

Learning Hierarchical and Geometry-Aware Graph Representations for Text-to-CAD

★ 107 2026-08-09
InCTRL 开源

给几个正常样本,就能检测任何新场景的异常

Official implementation of CVPR'24 paper 'Toward Generalist Anomaly Detection via In···

★ 203 2026-08-09
photonvision 开源

FRC 机器人视觉开箱即用,调参即出目标位姿

PhotonVision is the free, fast, and easy-to-use computer vision solution for the FIR···

★ 439 2026-09-18