近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。
这项研究提出的 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化感知训练，成功将大模型参数压缩到1bit 表示。该方法不仅保留了模型的高精度和高秩，还能够在极大幅度压缩模型参数的同时，保证模型至少83% 的性能。
OneBit 方法的核心在于将权重矩阵压缩到1bit，并引入两个 FP16格式的值向量以弥补精度损失。通过新的参数初始化方法 SVID 和知识迁移，成功将高精度预训练模型的能力转移到1bit 量化模型上。实验结果表明，OneBit 方法相较于其他2bit 量化方法，在验证集困惑度和 Zero-shot 准确度上表现更为优秀。
该研究的意义在于，成功突破了2bit 量化的障碍，为在 PC 和智能手机上部署大模型提供了新的可能性。未来，随着技术的不断进步，将有望实现将大型语言模型等大模型压缩到极低位宽，并实现在移动设备上高效运行的愿景。
论文地址:https://arxiv.org/pdf/2402.11295.pdf
大模型模型压缩pdf预训练量化模型高精度语言模型大型语言模型预训练模型智能手机研究人员移动设备arxiv
