Fairy-plus-minus-i

把LLM权重量化搬到复数域，低比特下少掉点

Fairy±i（iFairy）是一个面向大语言模型的复数域量化框架，核心思路是把权重量化从实数空间扩展到复数空间，用复数表示来更精细地刻画权重分布，从而在低比特下尽量保留模型能力。它解决的是传统量化在极低位宽（如2bit、3bit）时精度掉得厉害的问题：实数均匀量化对异常值和长尾分布不友好，而复数量化可以同时编码幅度和相位信息，提供更大的表示自由度。项目提供量化算法实现、训练/微调脚本和评测流程，支持对主流LLM做量化感知训练或训练后量化，并对比不同比特配置下的困惑度和下游任务表现。适合想研究低比特量化、模型压缩、复数神经网络的研究者和工程团队，作为实验基线或二次开发起点。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 136

维护状态活跃

是否开源是

定价模式 free

项目数据

分类模型训练

开发团队PKU-LLM-DS-LAB

所属国家

官网地址

GitHubhttps://github.com/PKU-LLM-DS-LAB/Fairy-plus-minus-i

定价模式free

价格说明开源免费，无在线服务，需自行部署

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型

GitHub 星标★ 136

30天Star增速

HF 下载量

上线时间2025-08-14 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-25

浏览次数0

使用教程

核心亮点

把量化空间从实数扩展到复数，用幅度+相位编码权重，理论上比实数均匀量化有更大表示自由度
提供完整的量化感知训练/微调与评测流程，可直接跑通低比特LLM实验
聚焦2-3bit等极低比特场景，针对LLM压缩的痛点问题，方向有研究价值

不足之处

项目处于早期，星标仅136，社区规模小、生态和文档成熟度有限
复数运算带来额外计算与实现复杂度，实际推理加速和部署收益尚需验证

适用场景

研究低比特LLM量化算法的实验基线
在显存受限环境下压缩大模型权重
复数神经网络与量化交叉方向的论文复现与改进

替代项目

GPTQ、AWQ、llama.cpp

项目介绍

Fairy-plus-minus-i 是模型训练领域的开源项目，由 PKU-LLM-DS-LAB 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 136。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。开源免费，无在线服务，需自行部署。

它主要面向的使用场景是：研究低比特LLM量化算法的实验基线。同类可对比的替代方案包括 GPTQ、AWQ、llama.cpp。

上一篇：nanotron

下一篇：mcore-bridge