Fairy-plus-minus-i

把LLM权重量化搬到复数域,低比特下少掉点

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 10 👀 关注 4
GitHub ↗
GitHub 星标 ★ 136
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务,需自行部署

项目预览

Fairy-plus-minus-i 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队PKU-LLM-DS-LAB
定价模式🏷️完全免费
价格说明开源免费,无在线服务,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 136
上线时间2025-08-14 00:00:00
代码更新2026-09-23
仓库体积68 KB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-09-25
浏览次数4

项目介绍

Fairy±i(iFairy)是一个面向大语言模型的复数域量化框架,核心思路是把权重量化从实数空间扩展到复数空间,用复数表示来更精细地刻画权重分布,从而在低比特下尽量保留模型能力。它解决的是传统量化在极低位宽(如2bit、3bit)时精度掉得厉害的问题:实数均匀量化对异常值和长尾分布不友好,而复数量化可以同时编码幅度和相位信息,提供更大的表示自由度。项目提供量化算法实现、训练/微调脚本和评测流程,支持对主流LLM做量化感知训练或训练后量化,并对比不同比特配置下的困惑度和下游任务表现。适合想研究低比特量化、模型压缩、复数神经网络的研究者和工程团队,作为实验基线或二次开发起点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-25 · 当前星标 ★ 136

核心亮点

  • 把量化空间从实数扩展到复数,用幅度+相位编码权重,理论上比实数均匀量化有更大表示自由度
  • 提供完整的量化感知训练/微调与评测流程,可直接跑通低比特LLM实验
  • 聚焦2-3bit等极低比特场景,针对LLM压缩的痛点问题,方向有研究价值

不足之处

  • 项目处于早期,星标仅136,社区规模小、生态和文档成熟度有限
  • 复数运算带来额外计算与实现复杂度,实际推理加速和部署收益尚需验证

适用场景

  • 研究低比特LLM量化算法的实验基线
  • 在显存受限环境下压缩大模型权重
  • 复数神经网络与量化交叉方向的论文复现与改进

替代项目

GPTQ、AWQ、llama.cpp

上一篇:nanotron

下一篇:mcore-bridge

同类项目推荐

EasyR1 开源

多模态强化学习训练,高效扩展不卡壳

EasyR1: An Efficient, Scalable, Multi-Modality RL Training Framework based on veRL

★ 5212 2026-08-09
prime-rl 开源

让智能体多轮强化学习训练轻松扩展到大规模

Agentic RL Training at Scale

★ 2229 2026-10-11
quaterion 开源

几分钟搭好相似度模型训练,向量检索效果快速提升

Blazing fast framework for fine-tuning similarity learning models

★ 665 2026-09-16
lora-inspector 开源

拆开 LoRA 黑盒,看清每层权重学了啥

LoRA (Low-Rank Adaptation) inspector for Stable Diffusion

★ 101 2026-09-28
TextRL 开源

在任意 HuggingFace 模型上实现 RLHF 微调,让生成更符合人类偏好。

Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···

★ 563 2026-08-09
MHLA 开源

用 token 级多头,让线性注意力恢复全量表达力

[ICLR 2026] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-H···

★ 160 2026-08-09
tirex 开源

零样本预测长短周期,无需训练直接上手

TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context···

★ 308 2026-08-09
LoRI 开源

多任务微调不打架,LoRA 参数更高效

[COLM 2025] LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation

★ 175 2026-08-09