HoliTom

合并视频令牌,让视频大模型推理快数倍

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 2 🐛 待处理 1 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。

项目预览

HoliTom 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队cokeshao
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,llava,llava-next-video,multimodal-large-language-models,token-merging,token-pruning,video-large-language-models,visionzip
GitHub 星标★ 86
上线时间2025-05-23 00:00:00
代码更新2025-10-10
仓库体积8.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

HoliTom是一个针对视频大语言模型(Video LLM)的推理加速工具,核心思路是“整体令牌合并”(Holistic Token Merging)。视频模型处理长视频时会产生海量视觉令牌,导致计算开销巨大。HoliTom通过智能合并相似的时空令牌,在不显著损失性能的前提下大幅减少输入序列长度,从而加速模型推理。它解决了视频理解任务中计算资源消耗高、响应延迟长的问题。核心能力包括:全局感知的令牌合并策略,能同时考虑空间和时间维度;与主流Video LLM架构兼容;提供简单易用的API接口。该工作被NeurIPS 2025接收,表明其方法论有一定学术认可。适合需要高效处理长视频的开发者或研究者集成使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86

核心亮点

  • 提出整体令牌合并方法,同时优化空间和时间冗余,加速效果显著
  • 基于NeurIPS 2025论文,方法有学术验证,非简单工程技巧
  • 与主流Video LLM架构兼容,集成成本低,易上手

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 令牌合并可能引入轻微信息损失,对高精度任务需权衡

适用场景

  • 长视频理解与摘要生成
  • 视频问答系统实时响应
  • 边缘设备或资源受限环境部署视频模型

替代项目

Token Merging (ToMe)、FastV、VideoLLM加速框架

上一篇:llm4regression

下一篇:adaptive-classifier

同类项目推荐

xtuner 开源

训练千亿 MoE 模型,省显存又提速

A Next-Generation Training Engine Built for Ultra-Large MoE Models

★ 5223 2026-08-09
automix 开源

让多个AI模型互相验证,推理结果更靠谱

Mixing Language Models with Self-Verification and Meta-Verification

★ 120 2026-08-09
Awesome-MLLM-Tuning 开源

多模态大模型微调不丢本事的论文与思路合集

Multimodal Large Language Model (MLLM) Tuning Survey: Keeping Yourself is Important ···

★ 102 2026-10-28
dLLM-RL 开源

给扩散大模型装上强化学习引擎,训练出 SOTA 的 TraDo 系列

[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···

★ 523 2026-08-09
datablations 开源

数据不够时,教你如何最优训练大模型

Scaling Data-Constrained Language Models

★ 352 2026-08-09
LLM-Drop 开源

丢弃冗余层,加速 Transformer 推理,省算力不掉点。

The official implementation of the paper "Uncovering the Redundancy in Transformers ···

★ 193 2026-08-09
OpenEBFM 开源

能量基基础模型的开源训练与扩展代码

Open-source code for training and scaling up energy-based foundation models.

★ 301 2026-10-31
JAFAR 开源

任意分辨率下提升特征,无需重训模型

[NeurIPS 2025] Official code for JAFAR: Jack up Any Feature at Any Resolution

★ 241 2026-08-09