compressed-tensors

让量化稀疏模型权重标准化存盘、一键加载

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 141 🐛 待处理 64 👀 关注 9
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 333
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,Apache 2.0 许可证

项目预览

compressed-tensors 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队vllm-project
定价模式🏷️完全免费
价格说明开源免费,Apache 2.0 许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型compression,quantization
GitHub 星标★ 333
上线时间2024-04-02 00:00:00
代码更新2026-10-27
仓库体积3.5 MB
本站数据更新2026-10-28
维护状态活跃
收录时间2026-10-28
浏览次数0

项目介绍

compressed-tensors 是 safetensors 格式的扩展库,用于在磁盘上高效存储稀疏与量化后的张量。它解决模型压缩后权重难以标准化保存与加载的问题:量化、稀疏化会改变张量结构与元数据,普通 safetensors 无法描述这些信息。项目在 safetensors 基础上增加压缩配置描述,记录量化方案、分组大小、稀疏布局等元数据,并提供打包、解包与读写接口,让压缩模型能以单文件形式分发并被推理框架直接识别。核心能力包括:支持多种量化格式的序列化、稀疏张量存储、与 PyTorch 权重互转,以及为下游推理引擎提供统一的加载入口。它适合模型压缩研究、量化模型分发和大模型权重管理场景,是压缩权重从实验走向工程化落地的存储层基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 333

技术标签

核心亮点

  • 在 safetensors 之上扩展元数据,量化与稀疏配置随权重一起保存,加载端无需额外约定
  • 提供打包解包与 PyTorch 权重互转接口,便于压缩模型分发和推理框架集成
  • 聚焦存储层单一职责,与具体量化算法解耦,可承载多种量化方案

不足之处

  • 早期项目,星标与生态规模较小,格式兼容性与长期维护待观察
  • 依赖下游推理框架适配,单独使用时价值有限

适用场景

  • 量化大模型权重的标准化保存与分发
  • 稀疏化模型实验结果的持久化与复现
  • 推理引擎加载压缩权重时的统一格式层

替代项目

safetensors、GPTQ、llm-compressor

上一篇:afd-plugin

下一篇:vllm-lens

同类项目推荐

openclaw-dashboard 开源

一条命令起面板,看清每个 AI 智能体花了多少钱

A beautiful, zero-dependency command center for OpenClaw AI agents

★ 458 2026-10-01
k3ai 开源

几分钟搭好 AI 环境,不用再折腾 K8s 和工具部署。

A lightweight tool to get an AI Infrastructure Stack up in minutes not days. K3ai wi···

★ 124 2026-08-09
LLMServingSim 开源

不买卡也能仿真 LLM 推理集群的吞吐与延迟

LLMServingSim 2.0: A Unified Simulator for Heterogeneous and Disaggregated LLM Servi···

★ 440 2026-09-16
ccLoad 开源

自动切换 AI 渠道,告别手动运维,提升调用稳定性

Self-hosted AI API gateway for Claude Code, Codex and Gemini: pool API keys and subs···

★ 428 2026-08-09
new-api 开源

一个网关接入所有大模型,协议随意转换,省心又省钱

A unified AI model hub for aggregation & distribution. It supports cross-converting ···

★ 50807 2026-08-09
glide 开源

一个网关搞定所有AI模型,快速上线生产应用

A open blazing-fast simple model gateway for rapid development of production GenAI a···

★ 160 2026-08-09
comfyui-model-linker 开源

一键补全 ComfyUI 缺失模型,自动匹配下载,告别报错。

Relink missing models in ComfyUI workflows with fuzzy matching, and download them fr···

★ 69 2026-08-09
redis-llm 开源

用 Redis 给 LLM 装个长期记忆,轻松访问私有数据

redis-llm integrates LLM with Redis. It can help LLM to access private data, and rem···

★ 63 2026-08-09
token-limit 开源

盯紧 AI 上下文用量,超限自动提醒,省钱省心

Monitor how many tokens your code and configs consume in AI tools. Set budgets and g···

★ 65 2026-08-09