近期，清华大学和哈尔滨工业大学联合发布了一篇论文，成功将大模型压缩到1bit，仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去，2bit 以下的量化一直是研究人员难以逾越的障碍，而这次的1bit 量化尝试，引起了国内外学术界的广泛关注。
这项研究提出的 OneBit 方法，首次尝试将预训练大模型压缩到真正的1bit。通过全新的1bit 层结构、基于 SVID 的参数初始化和量化感知训练，成功将大模型参数压缩到1bit 表示。该方法不仅保留了模型的高精度和高秩，还能够在极大幅度压缩模型参数的同时，保证模型至少83% 的性能。
OneBit 方法的核心在于将权重矩阵压缩到1bit，并引入两个 FP16格式的值向量以弥补精度损失。通过新的参数初始化方法 SVID 和知识迁移，成功将高精度预训练模型的能力转移到1bit 量化模型上。实验结果表明，OneBit 方法相较于其他2bit 量化方法，在验证集困惑度和 Zero-shot 准确度上表现更为优秀。
该研究的意义在于，成功突破了2bit 量化的障碍，为在 PC 和智能手机上部署大模型提供了新的可能性。未来，随着技术的不断进步，将有望实现将大型语言模型等大模型压缩到极低位宽，并实现在移动设备上高效运行的愿景。
论文地址:https://arxiv.org/pdf/2402.11295.pdf
声明：内容均采集自公开的网站等各类媒体平台，若收录的内容侵犯了您的权益，请联系邮箱，本站将第一时间处理。