缩放点积注意力把 Q·Kᵀ 除以 √d_k 再做 softmax,主要目的是?

大模型应用基础

  1. A.防止 d_k 较大时点积过大、softmax 进入饱和区导致梯度极小
  2. B.把注意力权重压缩到 0–1 之间,否则 softmax 无法输出概率
  3. C.减少一半的浮点运算量,加速推理
  4. D.使模型能处理比训练时更长的序列