DuQuant

双变换打散异常值，低比特量化模型更强

DuQuant 是一个针对大型语言模型（LLM）的量化方法，其核心创新在于通过双重变换（Dual Transformation）来重新分布激活值中的异常值（outliers），从而显著提升低比特量化（如4-bit）下模型的性能。LLM在量化时，激活值中少数极端大的异常值会严重损害量化精度，DuQuant通过先对激活矩阵进行旋转（rotation）和置换（permutation）等变换，将异常值分散到更多通道上，再结合平滑技术，使得量化误差大幅降低。该方法在NeurIPS 2024上被评为Oral，实验表明在多种主流LLM（如LLaMA）和不同量化设置下，DuQuant均能取得比现有方法更优的精度，甚至在某些任务上接近全精度模型。它解决了低比特量化导致模型性能严重下降的问题，使得在资源受限设备上部署高性能LLM成为可能。