GPT 类大模型「预训练」阶段的训练目标是?

大模型应用基础

  1. A.在海量无标注文本上做下一个 token 预测,不需要人工标注
  2. B.用人工标注的问答对训练模型按指令回答,这一步就是通常所说的预训练
  3. C.用人类对不同候选答案的偏好排序来训练模型,让回答更「讨人喜欢」
  4. D.在图像-文本对上做对比学习,使文本编码器与图像编码器对齐到同一表示空间