tapnet

在视频里盯住任意一个点，遮挡变形也不丢

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 计算机视觉 🍴 复刻 216 🐛 待处理 39 👀 关注 34
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2247
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，免费使用

项目预览

tapnet 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类计算机视觉
开发团队google-deepmind
官网地址https://deepmind-tapir.github.io/blogpost.html
GitHubhttps://github.com/google-deepmind/tapnet
定价模式🏷️完全免费
价格说明开源项目，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型benchmark,computer-vision,deep-learning,point-tracking,robotics
GitHub 星标★ 2247
上线时间2022-11-03 00:00:00
代码更新2026-11-02
仓库体积5.0 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-17
浏览次数1

项目介绍

TapNet 是 DeepMind 开源的「追踪任意点」（Tracking Any Point, TAP）基准与算法实现，目标是在视频中持续追踪用户指定的任意像素点，即使经历遮挡、形变、快速运动或光照变化也不丢失。传统光流只处理相邻两帧的稠密对应，而 TAP 要求长时序、稀疏点、跨遮挡的稳定追踪，TapNet 为此提供了统一评测协议、数据集接口和参考模型，让研究者能在同一标准下比较不同方法。项目以 Jupyter Notebook 为主，便于快速复现实验和可视化追踪结果，技术栈覆盖计算机视觉、深度学习、机器人等方向。核心能力包括：定义 TAP 任务与评价指标（如位置准确率、遮挡预测）、提供基线模型与训练/推理流程、支持在真实视频上做点级长程追踪。它解决的是「视频中某个点去哪了」这一基础问题，对机器人操作、视频编辑、运动分析等下游任务有直接价值。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-17 · 当前星标 ★ 2247

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门 约 10 分钟 部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • 可访问 GitHub 的网络环境
  • 支持 Jupyter Notebook 的运行环境
  • 用于打开 .ipynb 文件的工具（如 Jupyter Lab 或 Notebook）

安装与启动步骤

  1. 1访问仓库主页

    打开官方 GitHub 仓库，了解 tapnet 项目的整体结构和资源。

  2. 2阅读 README

    查看 TAP-Vid、TAPIR、RoboTAP 等链接与说明，明确项目定位。

  3. 3准备 Notebook 环境

    项目以 Jupyter Notebook 为主，请确保本地已安装可运行 .ipynb 的环境。

  4. 4查看示例 Notebook

    在仓库中寻找 .ipynb 文件并阅读，了解追踪任意点的使用方式。

如何确认成功

README 节选未提供启动验证方式，请以仓库内 Notebook 运行结果为准。

常见问题

Q：如何安装 tapnet？

A：README 节选未提供安装步骤，请查看仓库最新 README 或官方文档。

Q：需要哪些依赖？

A：README 节选未列出依赖，项目以 Jupyter Notebook 为主，通常需要 Jupyter 环境。

Q：支持哪些数据集？

A：README 提到 TAP-Vid 和 TAPVid-3D 数据集，以及 RoboTAP 扩展。

Q：有预训练模型吗？

A：README 提到 TAPIR 模型，但未提供下载命令，请以仓库说明为准。

注意事项

  • README 节选未包含安装、配置或运行命令，本教程仅作准备指引。
  • 请以 GitHub 仓库最新 README 和官方文档为准。
  • 项目以 Jupyter Notebook 为主，建议先熟悉 Notebook 操作。

核心亮点

  • 提出并开源了 TAP 任务的统一评测基准，填补长时序任意点追踪缺少标准的问题
  • 提供可复现的基线模型与 Notebook 流程，研究者能直接跑通训练和可视化
  • 覆盖遮挡、形变、快速运动等真实难点，评价指标贴近实际追踪需求

不足之处

  • 以 Jupyter Notebook 为主，工程化封装和部署友好度有限
  • 星标约 2000，社区规模和第三方生态仍处于成长阶段

适用场景

  • 机器人操作中追踪目标物体上的关键点以辅助抓取
  • 视频后期里锁定某个像素点做稳定跟踪与特效
  • 运动分析中追踪人体或动物的关节/特征点轨迹

替代项目

RAFT、CoTracker

上一篇：ml-cvnets

下一篇：ocrs

同类项目推荐

Remote-Sensing-RVSA 开源

让通用ViT适配遥感图像，多方向多尺度目标识别更准

The official repo for [TGRS'22] "Advancing Plain Vision Transformer Towards Remote S···

★ 470 2026-08-09
ocrs 开源

Rust 原生 OCR，图片转文字，部署零依赖

Rust library and CLI tool for OCR (extracting text from images)

★ 1912 2026-09-17
particle-life 开源

拖拽调参，让粒子自己长成生命图案

A simple program to simulate artificial life using attraction/reuplsion forces betwe···

★ 3363 2026-08-09
tesserocr 开源

Python 直连 Tesseract 引擎，细粒度控制 OCR 识别

A Python wrapper for the tesseract-ocr API

★ 2182 2026-10-27
vision-demos 开源

克隆即跑的趣味 CV 演示，几分钟看到识别效果

Fun real-world computer vision demos!

★ 925 2026-09-18
laravel-ocr 开源

Laravel 里几行代码把发票 PDF 变成结构化数据

Laravel OCR & Document Data Extractor – A powerful OCR and document parsing engine ···

★ 192 2026-09-29
Falcon-Perception 开源

原生多模态模型推理，看图识文一步到位

Inference repo for Falcon-Perception and Falcon-OCR model, early-fusion, natively mu···

★ 794 2026-09-19
Robust-R1 开源

让视觉模型在模糊、低光等恶劣图像下也能准确推理

[AAAI 2026 Oral] Official Implementation of Robust-R1: Degradation-Aware Reasoning f···

★ 511 2026-08-09