npq-vit

用球面量化替换传统VQ，让视觉tokenizer码本更省更准

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 计算机视觉 🍴 复刻 7 🐛 待处理 12 👀 关注 5
GitHub ↗
GitHub 星标 ★ 225
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源研究代码，免费使用

项目预览

npq-vit 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类计算机视觉
开发团队zhaoyue-zephyrus
GitHubhttps://github.com/zhaoyue-zephyrus/npq-vit
定价模式🏷️完全免费
价格说明开源研究代码，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型compression,quantization,vector-quantization,visual-tokenizer
GitHub 星标★ 225
上线时间2024-06-11 00:00:00
代码更新2026-10-19
仓库体积6.6 MB
本站数据更新2026-10-31
维护状态较活跃
收录时间2026-10-31
浏览次数0

项目介绍

npq-vit 是面向视觉 tokenizer 的球面量化研究代码库，包含 ICLR 2025 的 Binary Spherical Quantization（BSQ）与 CVPR 2026 的 Leech Spherical Quantization（LSQ）两项工作。项目要解决的问题是：在图像/视频 tokenizer 中，传统向量量化（VQ）码本利用率低、训练不稳定、量化误差大。核心做法是把特征映射到球面，用二值球面量化或基于 Leech 格的球面量化替代普通最近邻码本查找，从而在同等码本规模下降低重构误差、提升码本利用率，并让量化过程更易训练。仓库提供 PyTorch 实现、量化器模块与配套 ViT 训练/评测脚本，可直接嵌入现有 VQGAN、视觉自回归或压缩类模型，用于图像重建、tokenizer 预训练与生成式建模实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 225

技术标签

核心亮点

  • 提出 BSQ 与 LSQ 两种球面量化方案，直接针对传统 VQ 码本塌缩和利用率低的问题
  • 基于 Leech 格的量化在同等码本规模下重构误差更低，属于有理论支撑的结构化量化
  • 提供 PyTorch 实现与 ViT 训练评测脚本，可嵌入现有 VQGAN/视觉自回归流程复用

不足之处

  • 偏研究代码，工程化封装与文档完善度有限，上手需要一定量化背景
  • 依赖特定训练配置与超参，迁移到自有数据或下游任务时需额外调参

适用场景

  • 图像 tokenizer 的量化层替换与重建实验
  • 视觉自回归/生成模型的离散 token 编码
  • 图像与视频压缩方向的量化算法研究复现

替代项目

VQGAN、vector-quantize-pytorch、MAGVIT-v2

上一篇：GroundAnything

下一篇：没有了！

同类项目推荐

ORSI-HRSI-SOD_Summary 开源

遥感图像显著目标检测论文清单，一页看懂研究脉络

Read list for deep learning based Salient Object Detection in Optical Remote Sensing···

★ 126 2026-09-20
TotalSegmentator 开源

输入CT/MR，一键分割100+器官结构

Tool for robust segmentation of >100 important anatomical structures in CT and MR im···

★ 3099 2026-10-15
lw.PPOCR.C 开源

纯 C 无依赖跑 PP-OCR，端侧和浏览器都能直接 OCR

轻量级、无运行时依赖的纯 C PP-OCR 推理运行时，支持 PP-OCRv6 Tiny/Small/Medium、DET/C···

★ 167 2026-09-19
nnDetection 开源

医学3D检测免调参，换数据集直接跑

nnDetection is a self-configuring framework for 3D (volumetric) medical object detec···

★ 664 2026-10-14
manga-image-translator 开源

一键翻译漫画图片文字，自动抹除替换，阅读无国界

Translate manga/image 一键翻译各类图片内文字 https://cotrans.touhou.ai/ (no longer w···

★ 10551 2026-08-10
reaction-diffusion-playground 开源

拖拽鼠标，实时生成变幻无穷的有机纹理图案

Interactive reaction-diffusion simulation with organic patterns and behaviors that e···

★ 214 2026-08-09
ha-llmvision 开源

让 Home Assistant 看懂摄像头，自动触发智能场景

Visual intelligence for your home.

★ 1518 2026-08-09
supervisely 开源

用 Python 把 CV 标注和训练流程自动化跑起来

Supervisely SDK for Python - convenient way to automate, customize and extend Superv···

★ 546 2026-09-18
OneShotTranslation 开源

一张图搞定跨域转换，无需配对数据

Pytorch implementation of "One-Shot Unsupervised Cross Domain Translation" NIPS 2018

★ 141 2026-08-09