spectralquant
旋转特征基+注水位分配，KV-Cache 压缩不降精度
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 204
核心亮点
- 提出特征基旋转与注水位分配结合的新方法，压缩率与精度平衡优于传统均匀量化
- 提供即插即用 API，可快速集成到现有 PyTorch 推理流程
- 附带校准数据集和评估脚本，便于用户复现和验证效果
不足之处
- 文档/社区待观察
- 目前仅支持部分模型架构，扩展性有限
适用场景
- 长上下文 LLM 推理时降低显存占用
- 在单卡上运行更大批次或更长序列的模型服务
- 边缘设备或资源受限环境部署大模型
替代项目
KIVI、KVQuant、GPTQ
上一篇：orthrus
下一篇：ServerlessLLM
同类项目推荐
Claude-Code-Agent-Monitor
开源
实时盯紧你的 AI 代理，干活进度一目了然
A real-time monitoring dashboard for Claude Code & Codex, built with SQLite3, Node.j···
voyageai-python
开源
一行代码接入顶级文本嵌入和重排序，让语义搜索更准。
Voyage AI Official Python Library
production-stack
开源
把 vLLM 单机推理一键扩成 K8S 集群生产服务
vLLM’s reference system for K8S-native cluster-wide deployment with community-drive···
radar
开源
一个 Go 二进制搞定 K8s 可视化与 AI 运维诊断
The missing open-source Kubernetes UI with a built-in MCP server for AI agents. See ···
TensorRT-Edge-LLM
开源
在边缘设备上跑大模型，C++ 推理又快又省显存
High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI
gollama
开源
命令行一键管理 Ollama 模型，告别繁琐操作
Go manage your Ollama models
dualmark
开源
一个页面，两种形态，让 AI 和人类都能读懂你的内容。
Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···
arcadia
开源
一站式搭建安全可靠的AI应用，从原型到上线轻松搞定
A diverse, simple, and secure all-in-one LLMOps platform
lix
开源
给任意文件装上时光机，让AI变更可追溯
Embeddable version control system for files and tables.