深层网络使用 sigmoid 激活容易出现梯度消失,主要原因是?

机器学习基础

  1. A.sigmoid 输出不以 0 为中心,导致梯度方向偏移
  2. B.sigmoid 导数最大仅 0.25,多层连乘后梯度指数级衰减
  3. C.sigmoid 计算指数太慢,梯度来不及回传
  4. D.sigmoid 在饱和区不可导,梯度无法回传