多头注意力(Multi-Head Attention)相比单头的主要好处是?

大模型应用基础

  1. A.总参数量会减少为单头注意力的 1/头数,因此多头的主要目的是节省显存
  2. B.各头在不同子空间里并行学习不同类型的依赖关系,最后拼接融合
  3. C.每个头负责一个固定的 token 位置,从而不再需要位置编码
  4. D.可以把模型能处理的最大序列长度直接扩展到单头时的头数倍,且无需改动位置编码