答对笔试
笔试房间
题库
统计
在线编程
行测练习
模考
点数
下载客户端
教程
状态
计算机基础专项练习
/
大模型应用基础
把大模型权重从 FP16 量化到 INT8 / INT4 部署,主要收益与代价是?
大模型应用基础
A.
收益是模型能力整体提升;代价是必须在量化之后重新做一遍完整的预训练
B.
显存与访存带宽显著下降、常提升解码速度;代价是精度损失可能降低效果
C.
收益是上下文窗口按同比例变长;精度与量化前保持一致
D.
收益是训练速度更快;代价是推理变慢