(相关资料图)

概述

本文研究了运行大型语言模型和视觉Transformer时降低精度的背景。 过去的方法主要集中在8位精度的权重和激活上。最近的技术侧重于在保留FP16激活的情况下，实现4位整数权重的量化[3]，以及权重和激活的4位到3位量化[4]。然而，过去的方法没有在现代大型语言模型和视觉Transformer的背景下进行评估。本研究提出了一个开源仿真器INT-FP-QSim，以灵活地对不同数值格式的大型语言模型和视觉Transformer进行评估。 本文提出的研究方法是利用现有的开源资源，如TensorRT、QPytorch和AIMET，结合成一个联合仿真器，以支持多种浮点数和整数格式的灵活研究。借助这个仿真器，我们调查了不同数值格式（4位权重和4位或8位激活）对大型语言模型和视觉Transformer性能的影响，还对Adaptive Block Floating Point、SmoothQuant、GPTQ和RPTQ等最近提出的方法在模型性能方面进行了比较。 本文的方法在模型性能上取得了一定的成果，能够支持他们的目标，使用户能够在个人设备上运行十亿参数的大型语言模型。

重要问题探讨

1. 为什么需要将大语言模型和视觉变换器降低精度，并如何使用 INT-FP-QSim 进行评估？ 这个问题涉及到研究人员为什么需要降低模型精度，以及 INT-FP-QSim 是如何帮助他们评估模型在不同精度下的性能的。回答这个问题时可以提到，降低精度可以支持资源限制，实现模型的普及化，并且 INT-FP-QSim 是一个开源模拟器，结合了 TensorRT、QPytorch 和 AIMET 这些资源，可以灵活地评估模型在不同精度和数据格式下的性能。

2. 在 4 位权重和 4 位或 8 位激活下，不同数值格式对大语言模型和视觉变换器的性能有何影响？ 这个问题旨在探讨不同数值格式对模型性能的影响。通过使用 INT-FP-QSim 模拟器，可以对大语言模型和视觉变换器在不同数值格式（浮点数、整数、混合浮点数和整数）下的性能进行调查，并得出结论。

3. 比较近期提出的 Adaptive Block Floating Point、SmoothQuant、GPTQ 和 RPTQ 这些方法，在模型性能上有何差异？ 这个问题涉及到不同的量化方法对模型性能的影响。通过使用 INT-FP-QSim 模拟器，可以比较这些方法在大语言模型和视觉变换器上的性能表现，进而得出它们在模型性能方面的差异。

4. 为什么过去的低精度技术对于现代大语言模型和视觉变换器的评估不够准确？ 这个问题旨在探讨过去的低精度技术在现代大语言模型和视觉变换器上的评估是否具有准确性。回答这个问题时可以提到，过去的技术主要关注卷积模型和较小规模的语言模型（如BERT），而没有在现代大语言模型和视觉变换器上进行评估。因此，使用 INT-FP-QSim 模拟器可以填补这个研究空白，确保对这些模型的评估更加准确。

5. INT-FP-QSim 对于研究人员来说有什么价值？它如何促进大语言模型和视觉变换器的量化研究？ 这个问题考察了 INT-FP-QSim 对研究人员的价值和其在量化研究中的作用。可以回答说，INT-FP-QSim 是一个开源模拟器，提供了灵活的模拟环境，可以支持研究人员以不同的精度来模拟大语言模型和视觉变换器，促进了这些领域的量化研究的进展。

论文链接：/abs/

标签：