Transformer 自注意力机制中,Query、Key、Value 三组向量各自的作用是?

大模型应用基础

  1. A.Query 是输出结果,Key 是输入,Value 是损失函数的权重
  2. B.三者完全相同,只是为了并行计算而复制三份
  3. C.Query 与各位置的 Key 做点积得到权重,再对 Value 加权求和作为输出
  4. D.Query 负责位置编码,Key 负责词嵌入,Value 负责归一化