OSCAR

KV Cache 压到 2-bit，长上下文推理显存大降

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 561
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类基础设施
开发团队FutureMLS-Lab
所属国家
官网地址https://oscar-quantize.github.io
GitHubhttps://github.com/FutureMLS-Lab/OSCAR
定价模式free
价格说明开源研究项目，免费使用
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型
GitHub 星标★ 561
30天Star增速
HF 下载量
上线时间2026-05-19 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-17
浏览次数0

项目介绍

OSCAR 是一个面向大模型推理的 KV Cache 量化方案，核心解决长上下文场景下显存占用过高的问题。它把 KV Cache 压缩到 2-bit，同时通过离线谱协方差感知的旋转（Offline Spectral Covariance-Aware Rotation）来抑制量化误差。传统 2-bit 量化在注意力键值上会明显掉点，OSCAR 的做法是先离线分析 KV 的协方差结构，据此学习一个旋转矩阵，把能量集中到少数维度，再做低比特量化，从而在极低比特下仍保持生成质量。项目用 Python 实现，可接入主流推理框架，属于推理加速/显存优化方向的基础设施。适合需要部署长上下文大模型、但显存受限的团队，用更低成本换取更长上下文和更高并发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 把 KV Cache 压到 2-bit，长上下文显存占用显著下降
  • 离线学习旋转矩阵，量化前先集中能量，缓解低比特掉点
  • Python 实现，思路清晰，便于接入现有推理框架做验证

不足之处

  • 需要离线校准/学习旋转矩阵，接入流程比即插即用量化复杂
  • 2-bit 极端量化在不同模型和任务上的稳定性仍需更多验证

适用场景

  • 长上下文大模型推理部署，显存吃紧时压缩 KV Cache
  • 高并发在线服务，用低比特 KV 提升单卡吞吐
  • 边缘或消费级显卡上跑长文本生成，降低显存门槛

替代项目

KIVI、KVQuant

上一篇：cache-dit

下一篇：gpt-load

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 9466 2026-09-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183382 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 445 2026-08-10