把大模型权重从 FP16 量化到 INT8 / INT4 部署,主要收益与代价是?

大模型应用基础

  1. A.收益是模型能力整体提升;代价是必须在量化之后重新做一遍完整的预训练
  2. B.显存与访存带宽显著下降、常提升解码速度;代价是精度损失可能降低效果
  3. C.收益是上下文窗口按同比例变长;精度与量化前保持一致
  4. D.收益是训练速度更快;代价是推理变慢