答对笔试
笔试房间
题库
统计
在线编程
行测练习
模考
点数
下载客户端
教程
状态
计算机基础专项练习
/
大模型应用基础
多头注意力(Multi-Head Attention)相比单头的主要好处是?
大模型应用基础
A.
总参数量会减少为单头注意力的 1/头数,因此多头的主要目的是节省显存
B.
各头在不同子空间里并行学习不同类型的依赖关系,最后拼接融合
C.
每个头负责一个固定的 token 位置,从而不再需要位置编码
D.
可以把模型能处理的最大序列长度直接扩展到单头时的头数倍,且无需改动位置编码